易语言资源网 - 做最全的易语言资源下载社区
精易论坛授权登录

【ChatGPT研究】自回归语言模型的易语言实现方法   [复制链接]

    2023-04-13 14:39:24
    高级教程源码
    易语言资源网
    2631 次浏览
    来源链接


最近chatgpt爆火,想必用过的小伙伴都大呼神奇,我也同感,也感觉到作为一个程序员对这一行前景的担忧。

今天突然很想搞清楚chatgpt到底是怎么实现的,就去研究了自回归语言模型。代码也是chatgpt 教给我的,我转译成了易语言,方便大家理解。
自回归语言模型(Autoregressive LM, AR)是一种根据上文或者下文内容预测下一个可能跟随的单词的语言模型。例如,通过“LM is a typical task in natural language ____”预测单词“processing”

了解更多:https://zhuanlan.zhihu.com/p/378514578

最终的目的是抛砖引玉,希望有大佬可以搞一个 易语言chatgpt模型出来!

代码很简单,有丰富的注释可供学习!

代码中调用了两个模块,一个是 分词模块,有能力的可以删了模块自己写。

同时调用了我自己的模块,主要用了哈希表和取随机数,也可以自行删掉,用自己的。

更强的版本正在编写中:包含了损失函数,优化器随机梯度下降SGD,迭代训练并计算损失和梯度,向前传播和反向传播神经模型

源码下载【包含分词库】:https://rtb4.lanzouw.com/iqfFU0sl8u1e


不含分词库的附件下载(注意:附件下载的,请先用 分词模块测试.e 源码中界面 “重置词库” 按钮功能,生成新的词库



点我下载 (已有 83 次下载)

引用模块


源码文件名 模块文件名
分词模块测试.e
eParticiple1.5 EC.ec
自回归语言模型.e
eParticiple1.5 EC.ec
rtb4黑月专用功能模块2.001.ec


引用支持库


源码文件名 支持库文件名 支持库标识
分词模块测试.e 系统核心支持库 5.3 d09f2340818511d396f6aaf844c7e325
特殊功能支持库 3.1 A512548E76954B6E92C21055517615B0
自回归语言模型.e 系统核心支持库 5.7 d09f2340818511d396f6aaf844c7e325
应用接口支持库 3.1 F7FC1AE45C5C4758AF03EF19F18A395D


[错误报告]   上一篇:免费音乐下载器2.0...     下一篇:基于谷歌开源的 LevelDB 键值库封...