Open AI公布Sparse Transformer研究
4月24日消息，Open AI今日更新技术博客文章公布其研究结果Sparse Transformer，这是一种深度神经网络，可以预测序列中接下来的内容，包括文本、图像和声音。
该深度神经网络使用注意机制的算法，能从比以前时间长30倍的序列中提取模式。据悉，Transformer是强大的序列模型，但是需要时间和内存，且这些因素会随这序列长度增加而增加。
研究人员称，他们使用相同的架构来对原始字节中的图像，音频和文本进行建模，设置一个新的Enwik8，CIFAR-10和ImageNet-64的密度建模技术。生成了展示全局一致性和大多样性的无条件样本，并且表明原则上可以将自我关注用到长度为百万或更多的模型序列中。
相关视频 更多
-
国外研究机构说中国人对iPhone失去兴趣，我也来研究了一下
2019-04-10 02:27:52
-
沃尔玛公布四季报，应对电商用了这些招数
2019-04-11 04:53:34
-
小米2018财报公布，雷军的十亿之约如何了？
2019-04-09 19:36:03
-
美联储议息纪要即将公布，投资者到底要看什么？
2019-04-11 03:52:44
-
拍照是核心竞争力？小米9后置相机信息公布：加入超广角镜头
2019-04-11 11:08:31
-
科创杯决赛|海南热作高科技研究院股份公司
2019-08-30 16:15:29
-
张荣久就加入天道产业研究院发表讲话
2020-04-22 11:54:12
-
天仪研究院CEO杨峰：微小卫星的大梦想
2019-04-10 22:52:48
-
AI引发失业潮后，人类靠什么活下去？
2018-09-22 15:36:55
-
创业进行时||祝小云 海南富耀星美新能源研究有限公司
2020-04-08 11:54:52
相关资讯更多
-
谷歌神经网络研究报告：Transformer解决翻译难题
2019-04-03 08:03:30
-
Open AI的青春残酷物语
2019-04-05 00:26:27
-
Transformer自动纠语法、改论文，我们试了试这个免费英文写作新神器
2020-04-08 15:11:15
-
阿里巴巴公布2022“研究型实习生”计划，开放200多个科研选题
2022-03-08 15:25:15
-
36氪研究 | “AI+金融”行业研究报告
2019-04-10 01:06:49
-
36氪研究 | “AI+医疗”行业研究报告
2019-12-17 15:22:27
-
一周AI“政策+产业”汇总丨发改委公布AI工程，福州安徽印发《规划》
2019-04-04 02:19:20
-
36氪研究 | AI视频营销行业研究报告
2019-04-07 04:19:35
-
十多年跑到新终点，人类微生物组学研究公布三项成果
2019-05-30 12:15:14
-
一周AI事件速览丨微软建立AI研究中心，华为表示正在研发AI处理器
2019-04-03 02:33:22
-
36氪研究院 | 2020年中国“AI+安防”行业研究报告
2020-03-24 09:03:16
-
从AI到芯片，大华的四大AI研究院
2019-04-04 07:32:30
-
对话微软AI研究部门负责人，AI时代的微软如何让人兴奋
2019-04-04 13:45:05
-
一周AI事件速览丨清华成立AI研究院；中兴通讯：选举李自学为董事长
2019-04-05 02:38:09
-
铅笔道携手中国青年天使会邀600+投资人来Open Day看项目
2019-04-03 04:13:15
-
数据共享枪声已打响，Open Banking引发全球金融变革
2019-04-03 18:02:21
-
一周AI“政策+产业”汇总丨地方政府相继牵手企业成立AI研究院
2019-04-03 23:51:32
-
Open RAN全球进击，华为不可忽视的对手
2020-09-01 17:25:19
快报更多
琼公网安备 46010702000252号
