当前位置:首页  >  行业资讯  > 正文

最大CLIP!LAION发布CLIP的扩增定律

最大CLIP!LAION发布CLIP的扩增定律
2022-12-23 19:27:17


(资料图)

点蓝色字关注“机器学习算法工程师”

设为星标,干货直达!

近日,LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律(scaling law),其中最大的CLIP为ViT-H/14,基于LAION-2B数据集训练,可以在ImageNet1K数据集上到78.0%的zero-shot准确度,性能超过OpenAI目前开源的CLIP L/14,和Meta AI的FLIP Huge模型性能相当,但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集,训练框架采用开源的OpenCLIP,所以论文的实验是可以复现的。训练在1520 NVIDIA A100 GPUs上进行,采用PyTorch DDP分布式训练策略,采用混合精度(但是fp16会不稳定,所以采用bf16,或者基于TF32的float32),训练的batch size在 86-88K之间。实验的总体结论是:扩增定律也明显适用CLIP,当扩增模型,训练数据和算力时,模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数:OpenCLIP的模型(基于LAION-2B数据集)在图文检索任务上有较大的扩增系数,而OpenAI CLIP模型(基于私有的WebImageText 400M数据集)在zero-shot分类任务上有较强的扩增系数。这个结论和FLIP的结论比较吻合,这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是:Scaling behavior depends on task type and pre-training dataset。更多内容可见论文:https://arxiv.org/abs/2212.07143

标签:

(责任编辑:news01)
最大CLIP!LAION发布CLIP的扩增定律

最大CLIP!LAION发布CLIP的扩增定律

点蓝色字关注“机器学习算法工程师”设为星标,干货直达!近日,LAION等机构在Reproduciblescalinglawsforcontrastive
12-23 19:27:17
华嵘控股董秘回复:公司业务主体为持股51%的子公司浙江庄辰建筑科技有限公司

华嵘控股董秘回复:公司业务主体为持股51%的子公司浙江庄辰建筑科技有限公司

华嵘控股(600421)12月23日在投资者关系平台上答复了投资者关心的问题。
12-23 14:42:35
世界滚动:iPhone 14 Plus销量跳水 苹果或将调整iPhone 15销售策略

世界滚动:iPhone 14 Plus销量跳水 苹果或将调整iPhone 15销售策略

iPhone14Plus销量跳水苹果或将调整iPhone15销售策略,近日,据报道,苹果主要代工厂和硕今年11月度的营收...
12-23 09:12:34
我阳了...

我阳了...

对于新冠来说,看来谨慎并不顶用,我和家人基本上都是居家办公,网购也仅是买点蔬菜,自己在家做饭。所...
12-22 20:02:27
快资讯:吴兴经开建设3.16亿元竞得湖州吴兴区1宗商住用地

快资讯:吴兴经开建设3.16亿元竞得湖州吴兴区1宗商住用地

中国网地产讯12月22日,湖州吴兴区6宗地块集中出让,总出让面积579亩,总建筑面积68 5万方,总起价36 ...
12-22 14:31:06
全球热门:迎接2023 | 北极星开源一周年,感恩礼倾情相送

全球热门:迎接2023 | 北极星开源一周年,感恩礼倾情相送

北极星(PolarisMesh)是开源的一体化服务治理平台,致力于解决分布式和微服务架构中的服务管理、流量管...
12-22 07:54:41
微资讯!中文在线: 第四届董事会第二十一次会议决议公告

微资讯!中文在线: 第四届董事会第二十一次会议决议公告

中文在线:第四届董事会第二十一次会议决议公告
12-21 18:08:54
环球报道:白鹤滩—江苏±800千伏特高压直流工程低端投运

环球报道:白鹤滩—江苏±800千伏特高压直流工程低端投运

证券时报网讯,中国江苏网消息,12月19日,江苏特高压虞城换流站低端系统新设备顺利通过168小时试运行,...
12-21 12:37:27
【独家焦点】常州办理借款纠纷的律师费用是多少

【独家焦点】常州办理借款纠纷的律师费用是多少

1、按件收费收取(1)无财产争议:6000元-20000元之间;(2)法律文书:600元-2000元之间;(3)律师见...
12-21 06:28:25
环球看点!最冷门的5部韩国黄暴电影,你可能都没看过

环球看点!最冷门的5部韩国黄暴电影,你可能都没看过

1、《共助》虽然开始的时候有掺杂奇奇怪怪的南北韩偏见,但是拍到后面两个人抛下偏见合作的样子,还是挺...
12-20 17:21:02
【热闻】浙商证券:给予旭光电子增持评级,目标价位16.0元

【热闻】浙商证券:给予旭光电子增持评级,目标价位16.0元

浙商证券股份有限公司吴若飞,蒋高振近期对旭光电子进行研究并发布了研究报告《旭光电子深度报告:氮化铝...
12-20 11:24:20
世界微资讯!使用 IdentityServer  保护 Vue 前端

世界微资讯!使用 IdentityServer 保护 Vue 前端

前情提要《使用IdentityServer保护Web应用(AntDPro前端+SpringBoot后端)》中记录了使用IdentitySer
12-20 00:33:13
当前焦点!大盘收杀跌长阴 3100点一度失守

当前焦点!大盘收杀跌长阴 3100点一度失守

周一早盘上证指数小幅低开,但之后大盘走出单边的杀跌。午后大盘一度跌穿3100点,最低探出3096的低点。...
12-19 16:25:44
5 年的前端成长计划 - 仅剩 300 名额 - 打破职业发展壁垒

5 年的前端成长计划 - 仅剩 300 名额 - 打破职业发展壁垒

早早聊5年天使票预售倒计时,还剩300名额~这次我们拿出了最大的诚意,对大会服务做了全面升级。天使年...
12-19 11:05:22
热文:“车看灯”变成“灯看车” 市区五个路口安装雷视一体机

热文:“车看灯”变成“灯看车” 市区五个路口安装雷视一体机

从2022年11月起,驻马店市交警支队先后在市区开源大道与前进大道、开源大道与富强路、开源大道与金山路...
12-19 02:06:10
环球热讯:维生素C热销 多个品牌卖断货 保健品市场迎来新一轮高增长

环球热讯:维生素C热销 多个品牌卖断货 保健品市场迎来新一轮高增长

受各地落实“新十条”优化疫情防控措施的影响,目前很多家庭对于维生素C片、蛋白粉等增强免疫力的保健品...
12-18 15:11:20
焦点报道:国家卫健委:11日新增本土“2171+6455”

焦点报道:国家卫健委:11日新增本土“2171+6455”

据国家卫健委网站12日通报,12月11日0—24时,31个省(自治区、直辖市)和新疆生产建设兵团报告新增确诊病...
12-17 16:10:27
环球短讯!天丝能用洗衣机洗吗 天丝面料怎么洗

环球短讯!天丝能用洗衣机洗吗 天丝面料怎么洗

1、天丝面料是可以机洗的,但是如果放在洗衣机里面进行清洗的话,在清洗时必须要开启弱循环功能,而且清...
12-17 01:47:47
天天简讯:广期所:将于12月22日结算时起开展组合持仓保证金业务

天天简讯:广期所:将于12月22日结算时起开展组合持仓保证金业务

证券时报网讯,广州期货交易所(简称交易所)发布通知,将于2022年12月22日结算时起开展组合持仓保证金业...
12-16 16:48:47
【世界播资讯】河北石家庄:文明守法 安全回家

【世界播资讯】河北石家庄:文明守法 安全回家

12月9日,石家庄市交管局、长安交警大队联合美团配送在省会文化广场开展交通安全宣传主题活动,提高外卖...
12-16 10:51:58
科学脱单,女追男的心理学

科学脱单,女追男的心理学

编者按女生喜欢一个男生的时候,要不要追?当然要。不追,便意味着毫无希望,没有机会。有时,一旦错过...
12-15 23:23:23
中原消费金融网贷逾期25年延迟还款影响征信吗

中原消费金融网贷逾期25年延迟还款影响征信吗

网贷逾期一般会上征信,有些借贷机构在用户逾期后一天后就会上报给征信机构,而有些借贷机构则是会在几天...
12-15 15:47:47
世界热资讯!日本2022年度汉字“战”

世界热资讯!日本2022年度汉字“战”

参考消息网12月13日报道据时事社12月12日报道,日本京都市清水寺住持挥毫书写了今年的年度汉字“战”。...
12-15 10:28:37
聚焦:中国东方航空股份(00670.HK):2023年新增美元汇率套期保值上限不超过31亿美元

聚焦:中国东方航空股份(00670.HK):2023年新增美元汇率套期保值上限不超过31亿美元

格隆汇12月14日丨中国东方航空股份(00670 HK)公告,为对冲美元负债公允价值汇兑风险,防范汇率大幅波动...
12-14 21:48:57
洛阳市第二届童心童路《自闭症专题—爱是永恒》学术论坛圆满落幕

洛阳市第二届童心童路《自闭症专题—爱是永恒》学术论坛圆满落幕

大河网讯10月16日至17日,由洛阳市医学会主办、洛阳新区人民医院承办的洛阳市第二届童心童路《自闭症专...
12-14 15:16:29
【环球速看料】浙江畅通危废电池循环通道 累计收处62万组金额1.2亿元

【环球速看料】浙江畅通危废电池循环通道 累计收处62万组金额1.2亿元

走进浙江省湖州市长兴县画溪街道,“铅蛋”运营平台全景大屏幕实时跳动。杨涛表示,“铅蛋”平台打通了...
12-14 09:14:48
天天热讯:票据日评1213:震荡小跌

天天热讯:票据日评1213:震荡小跌

票据日评1213:震荡小跌
12-13 18:42:01
苏大维格(300331)12月12日主力资金净卖出3582.81万元

苏大维格(300331)12月12日主力资金净卖出3582.81万元

截至2022年12月12日收盘,苏大维格(300331)(300331)报收于22 49元,下跌3 19%,换手率8 47%,成交量17 02万手,成交额3 8
12-13 11:12:37
源杰科技: 源杰科技首次公开发行股票并在科创板上市网上发行申购情况及中签率公告

源杰科技: 源杰科技首次公开发行股票并在科创板上市网上发行申购情况及中签率公告

陕西源杰半导体科技股份有限公司       首次公开发行股票并在科创板上市        网上发...
12-12 23:18:21
新华联文旅积极筹划非公开发行股票

新华联文旅积极筹划非公开发行股票

央行、银保监会、证监会“三箭齐发”,通过增加信贷投放、债券发行、恢复股权融资等措施,支持房企保交...
12-12 15:27:57

精彩推送