当前位置:首页>新闻 > 正文

最大CLIP!LAION发布CLIP的扩增定律

  • 2022-12-26 22:46:21来源:


(资料图片)

点蓝色字关注“机器学习算法工程师”

设为星标,干货直达!

近日,LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律(scaling law),其中最大的CLIP为ViT-H/14,基于LAION-2B数据集训练,可以在ImageNet1K数据集上到78.0%的zero-shot准确度,性能超过OpenAI目前开源的CLIP L/14,和Meta AI的FLIP Huge模型性能相当,但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集,训练框架采用开源的OpenCLIP,所以论文的实验是可以复现的。训练在1520 NVIDIA A100 GPUs上进行,采用PyTorch DDP分布式训练策略,采用混合精度(但是fp16会不稳定,所以采用bf16,或者基于TF32的float32),训练的batch size在 86-88K之间。实验的总体结论是:扩增定律也明显适用CLIP,当扩增模型,训练数据和算力时,模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数:OpenCLIP的模型(基于LAION-2B数据集)在图文检索任务上有较大的扩增系数,而OpenAI CLIP模型(基于私有的WebImageText 400M数据集)在zero-shot分类任务上有较强的扩增系数。这个结论和FLIP的结论比较吻合,这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是:Scaling behavior depends on task type and pre-training dataset。更多内容可见论文:https://arxiv.org/abs/2212.07143

标签:

延伸阅读

推荐阅读

最大CLIP!LAION发布CLIP的扩增定律

点蓝色字关注“机器学习算法工程师”设为星标,干货直达!近日,LAION等机构在Reproduciblescalinglawsforcontrastive

世界简讯:顾地科技: 独立董事关于第四届董事会第十八次会议相关事项的事前认可意见

顾地科技股份有限公司独立董事   关于第四届董事会第十八次会议相关事项的事前认可意见  根据中国证监会《上市公司独立董事规则》、深圳

希媒:上海雅典首次开通直航航线

参考消息网12月26日报道据希腊报道网站12月23日报道,中国国际航空公司于12月22日开通了中国最大城市上海与雅典之间的直飞(@参考消息)

世界快资讯丨《县委大院》林志为是个什么样的角色 老樊的扮演者是谁

林志为是初入政府机关部门的年轻干部,为人低调,做事认真,对待工作保持百分百热情。

59岁北大科学家冲刺IPO:创业9年,前8年都在亏损

“首席投资官”旗下新媒体平台,原“中国私募股权投资”每日分享PE VC行业最权威新闻资讯来源:铅笔道(ID:pencilnews)摄影:Bob君博安生物先后

天天即时看!美国小型机失事坠加州海滩,95岁前市长罹难

美国一架小型飞机失事坠落在加州圣塔蒙尼加(SantaMonica)海滩,机上95岁的前市长明特(RexMinter)身亡。

世界热点!新版兔年兑换券首发优惠!“知音号”完成保养升级焕新归来

新版兔年兑换券首发优惠!“知音号”完成保养升级焕新归来---湖北日报讯(记者严芳婷、通讯员江朝)锃亮的船体船坞,装饰一新的船舱走廊…...

观天下!异动快报:同兴环保(003027)12月23日14点24分触及跌停板

12月23日盘中消息,14点24分同兴环保(003027)触及跌停板。目前价格23 65,下跌10 01%。其所属行业环境治理目前下跌。领涨股为神雾节能。该股为

快看点丨凯盛新材(301069)12月22日主力资金净卖出1560.72万元

截至2022年12月22日收盘,凯盛新材(301069)报收于27 46元,下跌4 65%,换手率3 28%,成交量4 61万手,成交额1 3亿元。12月22日

当前速递!通鼎互联: 通鼎互联信息股份有限公司2021年度前期会计差错更正专项说明审核报告

通鼎互联信息股份有限公司      专项说明审核报告      天衡专字(2022)01967 号天衡会计师事务所(特殊普通合伙)        

天天观天下!三只松鼠子公司经营范围新增酒类经营等

该公司成立于2020年4月,注册资本约1056万元,由三只松鼠股份有限公司全资持股

天天滚动:中金公司:寿险行业或实现困境反转 关注两条主线

证券时报e公司讯,中金公司研报表示,随着上轮周期核心产品重疾险的高基数被消化,我们对于寿险的基本面不再悲观。展望新周期,预计中短期内储

【聚看点】亿纬锂能荣登2022广东省民营企业100强榜单

近日,广东省工商业联合会(总商会)发布“2022广东省民营企业100强”系列榜单,亿纬锂能荣登“2022广东民营企业100强榜单”,位列第80名;...

【当前热闻】和金融人谈恋爱,基金就不会绿?

和金融人谈恋爱,基金就不会绿?

市值仅15亿,控股股东免费送7亿现金!*ST吉艾花式“保壳”,交易所火速关注

市值仅15亿,控股股东免费送7亿现金!*ST吉艾花式“保壳”,交易所火速关注

实时:三诺生物: 关于召开2022年第三次临时股东大会的提示性公告

证券代码:300298        证券简称:三诺生物              公告编号:2022-103债券代码:123090        债券简称:三

世界观热点:嘉寓股份:12月19日获融资买入80.30万元

同花顺数据中心显示,嘉寓股份12月19日获融资买入80 30万元,占当日买入金额的5 45%,当前融资余额1698 48万元,占流通市值的0 66%,超过历史5

焦点速读:大佬杨东上演“神抄底”,股票仓位猛增3倍,另类投资大幅减仓,有何深意?

在二级市场颇受推崇的杨东,过去一个月大幅加仓了A股。来自渠道的信息,刚过去的11月内,杨东创立的宁泉资产旗下产品大幅加仓股票。其实际配置

天天资讯:省心购票!美团上线春节购票日历、购票攻略

编程客栈()12月19日消息:近日,为了更好地服务元旦、春节出行需求的旅客,2023sWjzGxC元旦假期首日python火车票正式开售,美php团火车票上

当前简讯:“民意快线”工作人员现场调查结果将通过媒体曝光

工作人员向附近居民(驾车者)了解情况。□晚报记者张丽丽文 图本报讯“阿姨您好,我们是市委‘民意快线’办公室的工作人员,想...

颗粒无收!中国队被韩国加拿大甩在身后,甚至被弱旅日本追上

颗粒无收!中国队被韩国加拿大甩在身后,甚至被弱旅日本追上

环球今日讯!多款“新冠防疫保险”停售!还能选择哪些保险产品?

(魏薇)9日,中新经纬发现,多款网红“新冠防疫保险”已下架。“目前现在下架的是保确诊的产品,《通知》主要针对重症、死亡的风险,也不排...

【天天热闻】温暖的微信昵称 温馨的微信网名有哪些

1、十里春风2、阳光温热3、南风憩4、南夕5、回眸一笑6、一池月光7、你是我的眼8、影子爱人9、三千荼蘼10、甜甜的微笑11、遇见你时风很甜12、你

花旗银行:将逐步关闭中国大陆个人银行业务

12月15日,花旗银行(中国)有限公司(以下简称“花旗中国”)在其官网发布公告称,将在中国大陆市场退出个人银行业务。2021年4月花旗宣布...

倒排工期!河北邢台威县深圳国际名苑2023年1月20日前陆续交房

河北邢台市威县住房和城乡建设局通过“阳光理政”平台做出回复表示,剩余工程量已全部倒排工期。下一步该局将督促企业增加施工人员、机械设...

世界新动态:儿童用含氟牙膏安全吗?

北京清华长庚医院齐璇吕娇面对琳琅满目的“儿童牙膏”,很多家长常常挑花了眼,儿童该不该买含氟牙膏?成人牙膏宝宝能用吗?那些宣称有美白...

世界今热点:银河电子董秘回复:目前子公司嘉盛电源部分充电桩产品已通过欧标认证

银河电子(002519)12月15日在投资者关系平台上答复了投资者关心的问题。

“金马准县长”到福建沟通“小三通”事宜

参考消息网12月12日报道据台湾“中时新闻网”12月12日报道,近日金门高粱酒因注册缺失被大陆叫停输入,加上&ldq(@参考消息)

折叠屏最佳解决方案?OPPO Find N2系列发布前曝光汇总

OPPO即将在未来科技大会第二天,即明天16:00,为大家带来全新的折叠屏OPPOFindN2系列,该系列共分为两款产品,一款为OPPOFindN2;另

天天即时看!河南洛阳:办税服务下“硬功夫” 提升税收营商“软实力”

大河网讯今年以来,洛阳市税务系统坚持出实招、见实效,从提高办税效率、简化办税环节、为企业纾困解难等方面,不断改善,让企业享受更优的税

猜您喜欢

    Copyright ©  2015-2022 太平洋服装网版权所有  备案号:豫ICP备2022016495号-17   联系邮箱:93 96 74 66 9@qq.com