865棋牌


当前位置:首页 > 电脑棋牌 >

中国象棋对战关于中国象棋人机对战的自学方法

日期:11-27   阅读:100   分类:电脑棋牌

龙源期刊网 关于中国象棋人机对战的自学方法分析 作者:马麟 来源:《青年文学家》2019 年第 33 期 摘 ;要:相较国际象棋人机对战程序的开发,中国象棋人机对战的设计更具有难度,然而 我国相关学者人数并不多,具备研发人机对战自学习能力的学者更为缺乏。本文探究了通过激 励学习算法训练神经网络、利用有效的算法学习两种中国象棋人机对战自学习办法,以便为中 国象棋人机对战的开发提供参考。 关键词:中国象棋;人机对战;自学习 作者简介:马麟(1966-),女,河北清河人,本科学历,陕西省体育运动学校中职讲 师,国家级象棋大师,国家级象棋裁判,多次进入全国女子个人锦标赛前六名,研究方向:中 国象棋。 [中图分类号]:G891 ;[文献标识码]:A [文章编号]:(2019) 自从国际象棋研发人机对战系统后,世界各国学者将研究目标转向规则、棋路更为复杂的 中国象棋。中国象棋是一种将两军对战转化为利用棋子博弈的游戏,对战双方在下棋时,充分 活跃自身的思维,将形象思维与逻辑思维的作用发挥到极致。 一、中国象棋人机对战的自学习的具体方法 (一)通过激励学习算法训练神经网络 象棋对战机器的学习方法共有三种:激励学习、监督学习以及无监督学习。

其中监督学习 必须由导师辅助完成,导师在智能体运行状态时,告知智能体正确动作,并要求智能体记忆。 无监督学习中只存在输入集,之后通过输入集之上的实例进行分组学习。激励学习是人类在智 能体在接触环境过程中,通过给予智能体即时简单的奖励信号,使智能体在不断的尝试中,逐 渐趋向合理的行为。激励学习有别于其他方法,区别在于人类并不告知智能体行为的对错,而 是让其主动与外界接触,不断尝试,借由收到的奖惩信息,积累学习经验,以便确认哪种行为 可以收到奖励信号,从而对这种行为进行学习,无限逼近最优行为。 龙源期刊网 现今中国象棋对战,棋类博弈算法多采用 TD 学习算法以及 Q-学习算法。TD 学习算法结合了蒙塔卡洛 思想与动态规划思想,一方面 TD 算法无需借助系统模型的帮助,即可从智能体所获取的经验 中进行学习。另一方面,TD 算法与动态规划的运行过程相同,迭代通过预估所得的值函数。 Q-学习算法与 TD 算法的主要区别在于,Q-在进行学习迭代时,采取状态-动作对等奖赏以及 采用 Q*(s,a)作为估计函数,而不同于 TD 函数所采用的状态奖赏和 V(s),因此智能体 在每次进行学习迭代时都需对行为过程进行全面考察,以保证其规范学习过程。

神经网络应用广泛,各种问题均可以借助神经网络帮助解决,其作用主要有三类:分类、 模式识别、函数逼近。BP 神经网络得到广泛普及,成为目前非线性控制系统中使用的主流神 经网络模型,因其能够解决当多层网络存在隐层时,导致学习存在障碍的问题。BP 算法属监 督学习,对神经网络训练而言,只能通过批量提供输入输出对的方法进行。然而许多实际应用 的智能体不能识别最优策略,因此无法获取输入输出对。因此可将 BP 神经网络与激励网络融 合为一体,形成新模型:RBP 模型,该模型能够帮助 BP 网络从实际系统中获取学习经验,并 以此作为参考改变学习策略,其过程是向最优策略无限逼近的过程,且在学习过程中无需由导 师进行监督。该模型可以将所学知识用以训练精神系统,从而使网络逐渐达到最优状态。现将 神经网络运用于棋类对战机器中,使其作为棋类对战的评估函数,机器通过不断地对战,利用 激励学习算法对网络物产进行预测,进而训练神经网络,机器可通过误差反向传播的方法,对 节点的权值进行反复的修正,从而使棋类评估函数愈发精确。 (二)利用有效的学习算法学习更合理的参数 无论评估函数有多复杂,都可以将其列作多项式。中国象棋的评估函数中至少含有五个方 面的要点,而每一要点中又包含许多参数值,线性的将其组合在一起从而得到最终评估值。

然 而这样编出的程序,其棋力的高低,完全取决于编程者对象棋的理解,之后即使通过手调节, 也很难提高机器的棋力。 若评估函数由经验累积而得,其参数也必定是由经验的积累而产生。因此利用某种学习算 法以修改评估函数中的各个参数,则能达到更为理想的效果,机器的下棋水平逐渐提升。 相机对战机器可利用瞬时差分 TD 算法以寻求最为合适的参数组合。TD 属激励学习中国象棋对战,设 计者可将全部棋子子力值配置归一,同时结合 搜索方法,利用 TD 算法修该棋子的 子力值,以达到有过中国象棋参数的目的。 棋子子力值更新的具体公式如下: 其中: 和分别代表棋子的权值和当前局势中该棋子对己方提供的优势。设我方棋子“车”,计算时 除以 2,若你场上“车”的数量为二,而对方为一,则计算返还值为。 先将前式的梯度与求和展开: 龙源期刊网 之后让机器进行大量的游戏对战,为机器提供经验值,一定数量的练习之后,即可使机器 与他人对战。 二、结束语: 就目前来说,中国象棋人机对战博弈技术的研究尚处于探索阶段,拥有极大的发展空间。 由研究象棋机器博弈的所得的技术成果,不只可以用做娱乐,也可用做保护社会安全,模拟城 市可能出现的危险,或进行军事对战模拟综合提升我国军事力量,人机对战技术的研究无论理 论意义或是应用前景都有其不可替代的价值。 参考文献: [1]陈业鹏. 基于 搜索算法的中国象棋人机对战的设计与实现 计算机光盘软 件与应用,2019,04: [2]周明明. 基于专家系统和蒙特卡罗方法的计算机围棋博弈的研究南京航空航天大 学,

Copyright © 2019 865棋牌 版权所有