学霸从谈恋爱开始

我爱西瓜书

首页 >> 学霸从谈恋爱开始 >> 学霸从谈恋爱开始最新章节(目录)
大家在看空之梦幻想曲 炮灰女配要反攻 舞影记 虐杀 星际情殇:少女猎灵师 探龙 第99条规则 反派宿主是大佬 吉神狂欢调 傲娇鬼夫,我不约 
学霸从谈恋爱开始 我爱西瓜书 - 学霸从谈恋爱开始全文阅读 - 学霸从谈恋爱开始txt下载 - 学霸从谈恋爱开始最新章节 - 好看的科幻小说

第一百二十八章 伯特的诞生

上一页书 页下一页阅读记录

“没有的事,我只是想起高兴的事情。”

苏飞差点笑弯了腰,这一脸不甘心又像小孩子一样不服气的样子,太可爱了。

苏飞get到了一个点,想看可爱的姜大校花,首先要把她破防,让她摘下冷澹的面具,激起好胜心。

姜倾雪冷哼一声,头也不回地走去了电梯方向,连宿舍商店的胖胖专柜都没有看一眼,足可见得她是真有些郁闷了。

今天的胜负……算苏飞胜。

苏飞失笑地摇了摇头,上楼前去了趟宿舍商店,买了两块面包和一瓶酸奶。

苏飞回到宿舍后,先是冲了个澡,洗去了一身的疲惫。

虽然他昨天通宵了,但凭借24点的精神力,他仍然感觉蛮有元气的,而今天在acl学术会议上的收获更是令他振奋不已,他很清楚,自己的下一篇论文的雏形已经出来了。

苏飞深吸了一口气,坐到了桌前,他把今天在学术会议上所学习到的归纳整理到了一个小本本上,elmo的删减法与变形金刚编码器-解码器的解构,以此来搭建一个全新的预训练模型。

苏飞快速地在小本本上写写画画,脑海深处源源不断地涌出灵感,一遍遍冲刷着他的思想。

苏飞首先想到的是韩国小哥的那个学习elmo的删减法,不能过度删减,因此……

“根据注意力机制的位置信息和elmo的单层结构特性,应该可以把整个解码器部分删减,编码器完全留下,结构上可以这样……”

苏飞大笔一挥先把变形金刚删了一大半,随后根据麻省理工学子的解构方法进行小范围地修修改改,直到把大致的模型结构图画好。

“既然舍弃了变形金刚端到端算法的优势,那么就无法做机器翻译这种任务了,但其他任务能正常进行就无伤大雅……”

苏飞颇为认真地自言自语道。

想要把变形金刚做成预训练模型,那就必然要割舍一些功能,这一点苏飞倒是早有准备。

“但是如果要做预训练模型,如何才能让它训练词向量或者图向量本身……”

苏飞的笔一下子就顿住了。

这就是问题所在了,学会上也暂时没人提出相关理论……如果提出了这个相关的理论,那变形金刚的预训练化怕是已经被别人摘去了。

苏飞也不相信有人特么的能这么快。

苏飞猜测这个问题的解决方案大概率是和变形金刚的遮盖(mask)机制有关。

思路既然有了……不清楚过程的话,一张灵感激发卡!

苏飞现在可是豪横得很,1000积分的灵感激发卡那是眼睛也不眨一下。

苏飞毫不犹豫地使用了灵感激发卡,随着灵感激发卡的澹澹光芒涌入苏飞的脑海,他原本停滞下来的灵感就如同脱缰的野马一般,庞大的信息流在他的脑海中炸裂开。

但是现在有着24点精神力的苏飞,没有以往那种明显的超负荷感觉,他食指和拇指捏着眉心偏下一点的位置,他只觉得眼前有无数的公式和模型图飞逝而过,而且他能感觉到,这些公式和模型图仿佛就存在他脑海的某一处,现在就仿佛只是简单地把它们提取出来。

“奇怪的感觉……但还真不错。”

就像是化作了一个小光人被抽离出这个世界,去了另一个满是知识的世界一样……

简单来说,在那一刹那,苏飞变成了光。

“唔……原来遮盖机制是这样使用的,如果是做自然语言处理,只需要按照一定概率把一句话的数个单词遮盖掉,然后让预训练模型去预测被遮盖的这个单词本身,而训练结果就是被预测单词本身,就能起到微调词向量的效果……”

不得不说,这想法非常简单,苏飞甚至有一种白白浪费了一张灵感激发卡的感觉。

明明想到遮盖机制的时候已经离正确答桉只有一墙之隔了……

罢了罢了,终究是事后诸葛亮,就像数学考试总有一道题目就感觉差临门一脚,看了答桉才直呼自己笨,但终究还是差了那么点。

苏飞在消化了这股庞大的信息流后,他的意识逐渐回到了自己身体上。

看着桌子前的台灯和纸笔,苏飞突然感觉有点陌生,之前心念一动就有无数公式浮上心头,意识中都已经把模型结构图和公式证明全部完成了,现实中还得手写……

苏飞在小本本空白的位置上,一字一顿地写上新论文的标题名【bidirecoder representations from transformers】。

意为来源于变形金刚的双向编码器向量表示。

这个论文的标题和elmo的标题书写方式是一样的,只不过elmo是致敬了taglm,但这篇新论文纯属是自己致敬自己了。

【讲真,最近一直用野果阅读看书追更,换源切换,朗读音色多,.yeguoyuedu 安卓苹果均可。】

现在变形金刚爆火,自己蹭自己的热度嘛,不丢人,何况,未来到底哪篇蹭哪篇还真不一定。

本小章还未完,请点击下一页继续阅读后面精彩内容!

喜欢学霸从谈恋爱开始请大家收藏:(m.xiaoyanzw.com)学霸从谈恋爱开始小燕中文更新速度全网最快。

上一页目 录下一页存书签
站内强推网恋的粘人精小富婆是高冷校花? 末世重生之黑暗国度 父子俩的穿越日常 神婆鲜妻:总裁你有桃花劫 慕先生的小骄傲 12岁了,我建个宗门很合理吧? 愿你青春无悔 失宠女配下线后,十个哥哥都疯了 联盟:选出艾希,Rita坏掉了 火麟飞的诸天之旅 秦时明月之道家师叔祖 为何死对头的孩子长得跟我一样 纨绔乐妃:至尊鬼帝霸宠妻 世间无敌之后,天道让我压制众生 布衣锦华 回到古代做神探 惊玺 觉醒吃瓜能力,全网等我哔哔 凤临天下:妖孽邪王! 红妆至尊:邪帝溺宠小蛮妃 
经典收藏超凡,从技能面板开始 神只时代之妖怪神仙 快穿之我在异界卖手机 带着系统去逃生 我的末世的哥 他往返于位面彼岸 每次做梦都在拯救偏执大佬 灵天幻梦 稍息!为唯一向导献上全星际 特妮 快穿:被迫填坑的那些日子 生化末日求生记 流浪地球3:危难重重 一觉醒来我变成了仓鼠 快穿:男配有点慌! 无敌玄医 诸天万化系统 星武风暴 我在末世有个鱼塘 硬核危机 
最近更新末日游戏:自选召唤英雄 第三赛季:于你一世安宁 变成丧尸了,空间有何用? 末世之非正常生存 成为娇纵恶女后,男主剧情又歪了 蛊界新主 核星纪元 重回末日:打造顶级安全屋,校花跪求收留 星空之竣 星空奇幻科学 吞噬星空之量化之主 莫名其妙被拉黑 绝美恶雌超会撩,星际大佬真香了 末世前三月,我继承了亿万家财 末日重生:开局获取概念级能力 太岁灾难 末日暴君:这个男人比丧尸还危险! 末世我在溶洞里面苟着 废柴天才在星座帝国 星武大秦 
学霸从谈恋爱开始 我爱西瓜书 - 学霸从谈恋爱开始txt下载 - 学霸从谈恋爱开始最新章节 - 学霸从谈恋爱开始全文阅读 - 好看的科幻小说