基于 AX650N 的开集目标检测（OWL-ViT） - 知乎
OWL-ViT：Open-World Localization with Vision Transformers 背景 目标检测是计算机视觉领域一项重要的任务。开集目标检测（Open-set Object Detection）与闭集目标检测（Closed-set Object …
视觉大模型Qwen2.5-VL关键技术介绍 - 知乎
Mar 8, 2025 · 视觉编码器采用最常见ViT结构。 llama简单介绍可看： 天赐果酱：LLama架构以及几个关键技术介绍 训练方式：Qwen1.0的训练分为3个阶段。 第一阶段 使用海量的质量较低的网络图文数 …
近两年有哪些ViT (Vision Transformer)的改进算法？ - 知乎
虽然知道是谷歌，但是这根本没法follow。 真正让ViT火起来的是 DeiT，DeiT在结构上和ViT保持一致，但得益于FAIR的强大计算资源，作者得到了一组良好的训练参数，使得只用ImageNet-1K就可以 …
十分钟读懂旋转编码（RoPE） - 知乎
Sep 23, 2025 · 旋转位置编码（Rotary Position Embedding，RoPE）是论文 Roformer: Enhanced Transformer With Rotray Position Embedding 提出的一种能够将相对位置信息依赖集成到 self …
请问各位大佬，如果想自己从头训练ViT模型应该怎么做？ - 知乎
请问各位大佬，如果想自己从头训练ViT模型应该怎么做？ 我根据ViT论文中提供的github源码进行配置环境和训练模型，但是它是在预训练模型的基础上进行训练模型的。 如果想要重新训练预训练模型（ …
ViT在小规模的数据集上的准确率是否低于CNN？ - 知乎
ViT在小规模的数据集上的准确率是否低于CNN？ ViT最近在ImageNet上的准确率超过了CNN，但是如果不加载预训练模型的话，在CIFAR10上的准确率低于相同参数量的ResNet
关于ViT，你必须要知道的三点改进 - 知乎
对于ViT模型，其特征维度往往较小，比如ResNet50的特征维度为2048，而同等量级的ViT-S模型的特征大小是384。 最后，depth和width对模型的复杂度有不同的影响，对于ViT模型： 参数量：和depth …
为什么vit能用于语义分割？ - 知乎
Jun 4, 2023 · 为什么vit能用于语义分割？ 语义分割任务在训练的时候是固定分辨率，但是测试的时候是不固定的，vit在做位置编码的时候虽然使用的是相对位置编码，但是训练的时候是没有出现过超出训 …
猛猿 - 知乎
Sep 7, 2023 · 以下系列还未完结，仍在持续更新中～ 【大模型训练系列】 猛猿：图解大模型训练之：流水线并行（Pipeline Parallelism），以Gpipe为例 猛猿：图解大模型训练之：数据并行上篇 (DP, …
如何下载VIT预训练模型？ - 知乎
请问我想在pytorch中加载VIT的预训练模型，想要下载vit_huge_patch14_224_in21k.pth文件，找个很多地方都…