,
也称为 ,是一种机器学习算法,可用于减少监督学习中的偏见,做出非常准确的预测,并且实现起来非常简单——它的创始人说它可以用 10 行代码来完成。
作为一种元算法框架,提升方法可以应用于几乎所有流行的机器学习算法,以进一步提高原始算法的预测精度,并且自 1990 年 (E.) 提出以来得到了广泛的应用并产生了很大的影响。转眼间,30年过去了,在
提升方法的框架内诞生了许多优秀的算法,其中最成功的代表是和他的朋友Yoav(Yoav)在1996年发明的,被评为数据挖掘十大算法之一。
和Fred都获得了2003年的哥德尔奖,这在理论计算科学领域很重要。
和机器算法
罗伯特·夏皮尔( )是一位低调、有学术头脑的美国科学家,很少接受采访或其他媒体活动,我们只能从他个人网站上的论文和出版物中得知,这位科学家在机器算法领域的进步是可能的。
罗伯特·夏皮尔
1989年,他提出了弱学习和强学习的概念:识别错误率小于1/2且准确率仅略高于随机猜测的学习算法称为弱学习算法;识别准确率高且可以在多项式时间内完成的学习算法称为强学习算法。
在提出相关概念后,首次提出了PAC学习模型中弱学习算法和强学习算法的等价问题:一个只比随机猜测稍微好一点的弱学习算法能否提升为强学习算法?
如果两者相等,那么简单地找到一个比随机猜测稍微好一点的弱学习算法就可以将其提升为强学习算法,而不必寻找一个难以获得的强学习算法。
因此,他们两人在 STOC' 89 上提出了一个悬而未决的问题:弱可学习和强可学习是等价的吗?
在他 1990 年的论文中, 肯定地回答了求和的问题,构建了一个多项式水平的算法,该算法以肯定的方式证明了问题,这就是原始算法。
夏皮尔:弱者 (1990)。
这篇论文对机器学习和统计学产生了重大影响,最显着的是导致了发展。
它是一种框架算法,主要通过操纵样本集来获取样本的子集,然后使用弱分类算法在样本子集上训练并生成一系列基础分类器。可用于提高其他弱分类算法
的识别率,即将其他弱分类算法作为基础分类算法放置在框架中,通过框架对训练样本集的运算得到不同的训练样本子集,利用样本子集训练生成器基础分类器。
每次获得样本集时,都会使用基分类算法在样本集上生成一个基础分类器,以便经过给定的训练轮数n,n个基础分类器
可以生成,然后框架算法对n个碱基分类器进行加权和融合,产生最终结果的分类器,在这些n个碱基分类器中,每个单个分类器的识别率不一定很高,但是它们合并的结果具有很高的识别率,从而提高了弱分类算法的识别率。
可以使用相同的分类算法
生成单个碱基分类器,可以使用不同的分类算法,这些算法通常是不稳定的弱分类算法,如神经网络、决策树等。
简单来说:三个臭人打败了诸葛亮。
一年后,他的好朋友Yoav(Yoav)在此基础上提出了一种更有效的算法。然而,这两种算法有一个共同的实际缺点,即它们都需要先验知道弱学习算法正确学习的下限。
乔夫·弗雷德
Fred 是加州大学圣地亚哥分校的计算机科学教授,专注于机器学习、概率论及其相关领域和应用。他致力于机器学习算法在大数据中的应用,在信息论、统计学和模式识别等领域拥有丰富的经验。
1995年,和Fred共同改进了该算法,并提出了( )算法。
该算法的效率与 Fred 在 1991 年提出的算法几乎相同,但它不需要任何关于弱学习者的先验知识,因此更容易应用于实际问题。
它是一种迭代算法,其核心思想是针对同一训练集训练不同的分类器(弱分类器),然后将这些弱分类器组合在一起,形成一个更强的最终分类器(强分类器)。
该算法实际上是一个简单的弱分类算法改进过程,可以通过不断训练来提高数据的分类能力。
该算法系统检出率高,不易过度适应。
因为学习是用所有的训练样本进行的,所以解决了很多应用问题:两类问题、多类单标签问题、多类多标签问题、大类单标签问题、回归问题等等......目前广泛应用于人脸识别、医疗健康等多个行业,被誉为数据挖掘十大算法之一。它
的成功不仅在于它是一种有效的学习算法,还在于它从最初的猜想变成了真正有用的算法。
一些
该算法中使用的技术,如打破原始样本分布等,也为其他统计学习算法的设计带来了重要的启示,相关理论研究成果极大地推动了集成学习的发展。
和 Fred 都获得了 2003 年哥德尔奖;该奖项由欧洲计算机协会 (EATCS) 和计算机协会 (ACM) 于 1993 年创立,旨在表彰理论计算领域最杰出的学术论文。
库尔特·哥德尔
它的名字取自逻辑学家库尔特·哥德尔(Kurt Gödel),他被认为是理论计算机的先驱。著名的 P 与 NP 问题最早是哥德尔在 1956 年给冯·诺依曼的一封信中提到的。因此,哥德尔奖被认为是理论计算领域最负盛名的奖项。
2014 年, 入选美国国家工程院院士,以表彰他通过发明和开发增强算法对机器学习的贡献;2016年,他当选为美国国家科学院院士。