2026世界杯
188BET 500行极简开源框架, 硬刚GPT/Gemini视觉极限!
【新智元导读】多模态模子代码写得像老司机，却在数手指、量柱子时经常翻车？UniPat AI用五百行代码打造的SWE-Vision，让模子「掏出Python尺子」自我考据，一举拿下五大视觉沟通基准SOTA。
模态大模子在代码才调上跳跃惊东说念主，但在基础视觉任务上却时常乌有。
UniPat AI构建了一个极简的视觉智能体框架——SWE-Vision，让模子可以编写并实践Python代码来处理和考据我方的视觉判断。
在五个主流视觉基准测试中，SWE-Vision均达到了面前最优水平。
模子看得见，却没法精准处理
在当年一年，多模态大模子的代码才调得到了惊东说念主进展——寂寥搭建样式、排查bug、完成复杂重构，阐述已可并排资深工程师。
可是，在「意会视觉天下」这件事上，它们的阐述远莫得代码才调那样可靠。
UniPat AI此前发布的多模态基准BabyVision就揭示了这一时势：模子不时给出大段看似合理的推理，却在最基础的计量、计数和空间干系判断上出错。
UniPat AI此前发布的多模态意会benchmark BabyVision已被多个近期发布的重磅模子家具纳入评测体系，并在那时刻陈诉中被援用，体现了社区对这一问题的粗莽护理。
当咱们仔细凝视BabyVision中模子出错的案例时，可以发现一个关节点：问题时常是「模子看见了，却无法精准处理」：
阅读柱状图时，模子能感知到「苟简75%」，但无法精准谈论比值；
在复杂场景入彀数时，模子可能识别了每一个物体，但在一一盘点时出错；
描摹空间位置时，模子能给出定性判断，但难以踏实进行距离谈论和几何推理。
面临这些弊端，东说念主类平常会若何作念？
掏出器具：画辅助线、作出记号、用尺测量、用笔谈论。
这个不雅察激发了一个关节计算：既然模子也曾极其擅长编程，能否让它用代码——这个它最熟悉的器具——来弥补视觉处理中的精度短板？
SWE-Vision恰是对这一计算的系统性考据。
后来果令东说念主驻扎：在五个不同的视觉基准测试中——涵盖基础感知、图表推理、数常识题管束、空间意会和复杂的多设施视觉挑战——SWE-Vision永恒改换了前沿LLM，如GPT-5.2-xhigh和Seed-2.0-Pro，并得到了首先进的后果：
在BabyVision上达到64.4，
在MathVision上达到94.0，
在Zero-Bench-Sub上达到50.1，
在OmniSpatial上达到69.0，
在CharXiv-RQ上达到82.5。
SWE-Vision是什么
一个「极简视觉智能体」
SWE-Vision并不需要再造一堆专用视觉器具，而是把要作念的事压缩到极简：
器具层：只保留两个器具
config.py里界说的器具只好两个：execute_code和finish。
execute_code：让模子在一个可不竭保谅解景的Jupyter环境里实践Python
finish：当模子敬佩谜底正确时输出最终谜底
这里最关节的不是「能实践代码」，而是器具接口自身极度小、极度通用。SWE-Vision莫得给模子塞一堆专用视觉API，ag真人app而是只显现一个模子底本就很熟悉的动作：写Python。
截至层：一个模范的agentic loop
agent.py里的VLMToolCallAgent兑现了竣工的轮回：
先把用户问题和图片组织成音讯；
然后调用复旧tool use的聊天接口；
淌若模子发起execute_code，就把代码送到notebook内核实践；
再把实践后果行为tool message回流给模子；
模子据此决定陆续调用器具如故finish。
repo里默许tool_choice="auto"，并复旧reasoning阵势；在开启时会把推理effort设为高等，并允许最多100轮迭代。
实践层：Docker里的历久化Jupyter kernel
kernel.py不是浅近exec一段代码，而是肃穆启动一个Docker容器，再在容器里拉起ipykernel。宿主侧通过jupyter_client.BlockingKernelClient链接这个内核，并从IOPub/shell通说念网罗实践后果。
内核是历久化的，变量、导入、图像对象和中间后果齐能跨屡次execute_code保留；同期代码开动在禁闭的Docker环境里，宿主与容器通过挂载目次交换文献。
kernel.py还会在启动后作念health check，并把matplotlib后端确立成inline，以便握取图像输出。
浅近来说，SWE-Vision不免强模子每题齐写代码，但给它一个随时可用何况熟悉的「视觉器具库」。
肯求到底若何流动
从看图推理到带图轮回考据
SWE-Vision像一个会看图的数据科学家，其竣工责任流如下：
用户给问题+图片
模子先念念考：这题能不行径直答？需不需要谈论/考据？
需要就调用execute_code：在Notebook里用PIL/NumPy/matplotlib等作念分析
代码输出（数值/报错/可视化图）回流给模子
模子陆续迭代，直到调用finish给最终谜底
它有几个关节设想：
有情景的实践环境：变量、导入、图片加载齐能跨屡次调用保留
Docker沙箱：确保可控安全环境+复现性；
Image-in/Image-out：意味着模子不仅能读取输入图像，还能将我方生成的可视化后果回传给自身进行考据——这是兑现自我纠错的关节；
OpenAI function calling模范接口：保证了与主流模子的开箱即用兼容性。
这套设想的价值在于：允许模子像一个实在的科学家不异，先作念实验再下论断。
为何stateful notebook比一次性code executor更关节？
许多东说念主第一次看SWE-Vision会认为，188金宝博它不外是在VLM外面加了个Python器具。
实在的死别其实在于stateful。
在SWE-Vision中，内核情景会在屡次调用间保留。
这意味着模子可以像东说念主类分析师那样分步责任：
第一轮先读图、检查尺寸；
第二轮编著局部、看角落；
第三轮统计神采或测距离；
第四轮画辅助线作念证据；
终末再生成谜底。
淌若代码实践是无情景的，这种多步分析会极度艰深：每一步齐要从头导入库、重载图片、重建变量，模子也更难珍视中间假定。
SWE-Vision通过历久化kernel，把「多轮器具调用」变成了「归拢个notebook会话里的连气儿实验」。
从工程兑现上看，这亦然它为什么能处理图表测量、空间干系和复杂多步视觉任务，而不仅仅作念一次性的OCR或检测。
SWE-Vision的关节
在于「能考据我方的视觉判断」
在SWE-Vision「不雅察科学图表、回归王法」的案例中，咱们看到了一种不止天渊的行为阵势。
如下图所示，这是科研场景中常见的图表分析任务：咱们条目模子判断，在Quarters=15时，哪一张子图中红色虚线与玄色实线之间的差距最大。
SWE-Vision智能体给出了一套极其严谨且可解说的解法。
最初，它排斥了不存在红色虚线的子图（d）；
随后，对每一张候选子图在Quarters=15处精准绘图辅助线，定位红线与黑线的交点；
接着，通过可实践代码精准谈论两条弧线在该位置的数值差距；
最终基于谈论后果给出正确谜底。
这种「先结构化分析、再轨范化测量、终末数值考据」的念念维与行为闭环，与传统视觉话语模子依赖直观式「横目不雅察」径直给出谜底的形势酿成明显对比。
它不仅显耀扶助了后果的可靠性与可解说性，也展示出更高的才调上限与更强的泛化后劲。
为什么极简设想反而更强
SWE-Vision的一个进攻论断是：对视觉任务而言，加入通用代码器具，是扶助前沿多模态模子视觉才调的一个有用test-time scaling标的。
它之是以有用，刚巧在于其极简：
器具数目少，决策边界了了；
器具语义与模子已有才调高度一致；
复旧多轮迭代和情景鸠集；
中间后果可被再次不雅察，而不是一次性复返文本；
不绑定某个特定benchmark的专用手工战术。
这与许多「为了某类视觉任务单独发明一套器具接口」的秩序不同。
这些秩序时常在某些窄任务上能扶助，但泛化性不及。而SWE-Vision的筹画，是提供一个尽可能通用的视觉增强框架，让模子我方决定何时调用代码、如何组织分析设施。
五大基准全线扶助
愈加通用的「视觉才调增强器」
SWE-Vision在五个袒护面很广的视觉基准上进行了评测（基础感知、图表、数学、空间、抽象多步推理），中枢发现高度一致：引入代码实践才调，能系统性地抬升前沿模子的视觉阐述上限。
在对比实验中（归拢模子vsSWE-Vision），SWE-Vision对两个前沿的视觉话语模子（GPT-5.2，Seed-2.0）齐带来显耀扶助：
「反直观」的极少是：扶助幅度最大的，时常不是最复杂的高阶推理任务，而是最基础的感知和精准处理才调——举例BabyVision中的计数、神采识别和空间干系判断。
这类任务东说念主类靠直观加浅近器具就能踏实完成，而模子仅凭「话语化视觉」则极易忽略细节、数错个数、穷乏考据技巧。
环球体育官网登录入口SWE-Vision的后果也给咱们揭示了另一种可能：
关于视觉来说，测试时延迟（test-time scaling，TTS）不一定只可靠「多想几段笔墨」，也可以靠「多写几行代码」来看得更细致。
将来，「代码增强视觉」成视觉智能体原生才调
与用于老练多模态LLMs的传统数据（基本上是问题，图片，谜底三元组）不同，老练视觉智能体模子需要多模态交错的智能体轨迹。
它还需要一个交互式环境来复旧强化学习、器具使用和评估，使模子不仅能学习回报问题，还能学习感知、行为和反念念，要透顶开释「器具增强视觉」的后劲，模子需要更多深度交汇的视觉-编程SFT/RL数据与环境，来学会感知、行为和反念念。
具体而言，下一步的关节标的包括：
判断时机：学会识别何时视觉推理需要代码辅助，何时可以径直回报
中间考据：在多步推理历程中主动磨砺中间后果的正确性
失败还原：在代码决议无效时实时跳出，切换到替代战术
原生会通：让「不雅察」与「谈论」不再是两个寂寥设施，而是深度会通，一体两面
SWE-Vision的开源代码已在GitHub发布。编程辅助的精准视觉意会是一个值得社区共同探索的标的——五百行代码的极简框架188BET，也许是这段旅程一个可以的发轫。
备案号: