← 高小猫

强化学习算法与日常生活



最近在学习Sutton的那本强化学习的书,刚刚看到第二章,感觉里面的算法很有意思,用这篇文章分享一下。




先从最简单的情况开始推演。假设我家周围有十个餐馆可以选择,并且我已经能够预知我对这十个餐馆真实的评分(这个真实的评分考虑到了我的各种偏好,比如本身菜做的怎么样,我今天偏好什么,我是不是最近刚吃过这家等等)。那么很简单,我只要选择评分最高的那家,问题就解决了。


问题是,我并没有办法预知我对于这十家餐厅真实的评分,那我要怎么决定去哪家吃呢?或者说,我要怎么估计我对于这十个餐厅的评分呢?如果我们可以分别多次去这十家餐厅吃饭,并且每次都对这十家餐厅评分的话,对于每一家餐厅我们都可以得到一个平均分,之后再每次都去那家评分最高的餐厅吃就行了。比如我们先去每一家吃一次,取得一个评分,从此之后每次都去评分最高的的那家就行了。


然而我们知道其实评分总是会有浮动的(比如餐厅每次发挥都不太一样,点的菜也都不太一样),尝试一次可能并不那么足够。可能一直去吃的那家换了厨子,变难吃了,也可能某一家推出了新菜,一下子变得特别好吃。到底要怎么样兼顾每次都吃的不错,又同时一直能确保长期来看一直能选到最好的餐厅呢?


我们可以定一个比例,比如80%的时候选评分最高的那家,剩下的百分之二十的时候随机地去一家其它的餐厅。这个方法在强化学习算法中就是所谓的epsilon-贪婪算法,epsilon系数就是我们这边的20%随机尝试的那个几率系数。用这样的方法我们就即可以一直吃最喜欢吃的那家餐馆,又可以一直了解餐馆们的近况了。是不是还蛮像我们日常生活中会做出的选择呢?


不过我们还可以在此基础上进一步改进,比如当我们以20%的几率尝试剩下那几家的时候,我们并不想给与每一家同等的机会。比如我们显然应该更多地光顾之前评分第二家的餐厅。那么到底最佳的第二家与第十家的光顾几率的比例到底是多少呢?我们可以以e为底,以每一家的评分作为指数,这个数值的比重就可以作为每一家光顾几率的比重。这个方法有一个好处,就是它不受评分的绝对大小的影响,给每一家的评分加上一千分以后,这个比重还是不会变的。


我们还可以考虑入光顾次数的因素,因为有的餐馆可能我们去过的次数很少,因此相对于那些很经常光顾的餐厅来说,我们其实对他们没有那么了解。我们可以在每一家的评分上再加上一个数值,这个数值反比于我们去过的每家餐馆的次数。对于更喜欢尝鲜的人来说,我们就可以在这个数值上加上更大的常数。这样一来我们就可以考虑进光顾次数的因素了。这在强化学习中是一种类似于Upper-Confidence-Bound Action Selection的算法。


本文只是一个很简单的小小入门,具体的算法要比这个复杂一点。在我们的真实生活中,强化学习的算法其实就是我们很自然能想到的解决具体问题的方法的抽象。把这个抽象写成代码,用大量的数据对此进行训练,就可以得到人工智能中的一个又一个小小的决策模块,这些模块聚在一起,可以帮助我们自动化非常多的事情,方便我们人类的生活。