您好，欢迎访问开云网站！
您好，欢迎访问开云网站！
集团动态
联系开云
发布日期：2024-06-23 作者：开云
近日，鹏城尝试室收集智能研究部视觉智能研究所与中国科学院年夜学电子电气与通讯工程学院配合合作，别离在GitHub和OpenI启智社区开源了物理传热开导的高效视觉表征模子vHeat。
?
vHeat与ViT焦点算子计较复杂度对照。研究团队供图
研究团队认为，CNN和ViT的卷积算子与自留意力算子都是特点内部的像素传布进程，别离是一种信息传递的情势，从而联想到物理范畴的热传导，是以提出了基在热传导的视觉表征模子vHeat。vHeat将图片特点块视为热源，经由过程猜测热分散率，以物理学热传导道理来提取图象特点。
比拟基在Attention机制的视觉模子，vHeat同时统筹了低计较复杂度、全局感触感染野、物理可注释性等特征，计较复杂度下降为1.5次方。
?
HCO与HCO Layer示意图。研究团队供图
研究团队按照热传导方程，将视觉语义的空间传布和物理热传导成立联系，按照傅里叶变换求得通解，并根据通解进行离散化和通道维度扩大，提出了一种1.5次方计较复杂度的视觉热传导算子（Heat Conduction Operator，HCO）。
另外，团队认为分歧图象内容对应分歧的热分散率，提出了频率值编码（Frequency Value Embeddings，FVEs)来暗示频率信息，并采取FVEs来猜测热分散率，使得HCO可进行非平均、自顺应的传导。
?
用FVEs猜测热分散率，构成非平均、自顺应的传导。研究团队供图
尝试证实，vHeat在各类视觉使命中表示优异。例如vHeat-T在ImageNet-1K上分类正确率到达82.开云体育app2%，比Swin-T高0.9%，比Vim-S高1.7%。除机能优势以外，vHeat还具有高推理速度、低GPU显存占用和低FLOPs等长处。在输入图象分辩率较高时，比拟在Swin，base范围的vHeat模子到达3倍吞吐量，同时GPU显存占用为其1/4倍，FLOPs为其3/4倍。
vHeat这一立异性研究功效为视觉模子的成长供给了新的标的目的和思绪。将来，研究团队将继续推动新型视觉模子研究，为模子在各行业、多范畴的人工智能成长和利用进献气力。
版权声明：凡本网注明“来历：中国科学报、科学网、科学新闻杂志”的所有作品，网站转载，请在正文上方注明来历和作者，且不得对内容作本色性改动；微信公家号、头条号等新媒体平台，转载请联系授权。邮箱：shouquan@stimes.cn。