SAM是如何做到“分割一切”的

比来一段时光，人工智能通用模子界限频现“爆款”。4月，Meta公司发外了一款名为“Segment Anything Model”（SAM）的通用模子，号称可能“零样本支解统统”。也便是说，SAM能从照片或视频图像中对轻易对象告终一键支解，而且或许零样本迁徙到其他做事中。

正在合联展现页面中，科技日报记者看到，正在一张包罗生果、案板、刀具、绿植、储物架等浩繁物体、布景杂沓的厨房照片中，该模子可神速识别出分别的物体，以粗线条勾画出物体轮廓，并用分别颜色对分别物体实行分辨。“这便是SAM最主要的效用——图像支解。”中邦科学院自愿化酌量所众模态人工智能体例天下核心尝试室酌量员、中邦科学院大学人工智能学院教导杨戈向记者透露。

那么，SAM的本事道理是什么？比拟于此前的图像支解模子，该模子有何分别？另日又有不妨正在哪些方面利用？

杨戈向记者注解道，像SAM如此可能经管众种分别类型做事的人工智能模子，叫作通用模子。与之相对，那些特意经管一品种型做事的人工智能模子，叫作专有模子。

打个地步的比喻，通用模子就比如是一个“众面手”。它具有经管通常工作的才具，可是正在精度等功能上往往会减色于只经管一品种型做事的专有模子。

既然通用模子不妨会正在精度上低于专有模子，为什么还要费经心力地开荒通用模子？对此，杨戈透露，通用模子与专有模子定位分别。通用模子带来的，是管理支解题目的新范式，卓殊是助助科研职员提拔正在管理专有做事时的效力，“以前，面临分别的做事需求，科研职员往往须要开荒分别的专有模子来应对。如此开荒出的模子精度确实会更高，可是往往也会付出较大的研发本钱，并且研发的模子通用性不强。”杨戈说。

通用模子或许将通盘做事都经管得“八九不离十”，因而科研职员往往只需正在通用模子的根蒂进取行优化，使之尤其相符做事需求即可，而不须要费经心力地从零最先搭修专有模子。因而，通用模子的初始开荒本钱不妨会高，但跟着利用通用模子的次数越来越众，其利用本钱也会越来越低。

SAM便是一类经管图像支解做事的通用模子。与以往只可经管某种特定类型图片的图像支解模子分别，SAM可能经管通盘类型的图像。“正在SAM展示前，基础上通盘的图像支解模子都是专有模子。”杨戈填充道，“打个例如，正在医学界限，有特意支解核磁图像的人工智能模子，也有特意支解CT影像的人工智能模子。但这些模子往往只正在支解专有界限内的图像时，才具有优异功能，而正在支解其他界限的图像时往往功能不佳。”

有业内专家透露，比拟于以往的图像支解模子，SAM可能识别种种输入提示，确定图像中须要支解的内容，还可能轻巧集成到虚拟实际/巩固实际等其他体例中，且目前对付少少它未睹过或相对隐约的场景，也能告终较好的图像支解恶果；同时，SAM设立修设了一套图像支解的通用模子，低落了对付特定场景修模常识、操练估计、数据标识的需求，希望正在同一框架下完结图像支解做事。目前Meta公司一经盛开共享SAM的代码和操练数据集。

那么，SAM是通过什么本事技术，告终对物体的识别与支解？更加是正在面临繁杂情况、乃至没遭遇过的物体和图像时，SAM又是若何做到凿凿识别与支解的？

“依照Meta发外的合联论文，SAM的模子构造原本并不是卓殊繁杂。”杨戈告诉记者，“它用到了一个叫作‘编码解码器’的构架。”

记者剖析到，SAM先通过图像编码器为图像天生编码，同时用一个轻量级编码器将用户的文字提示转换为提示编码。然后，SAM将图像编码辨别和提示编码音讯源组合正在一块，输送到一个轻量级解码器中，用于预测支解掩码。如此一来，一朝利用者给出提示，则每个提示只须要几毫秒就能正在浏览器中取得结果反映。

杨戈用了一个活跃的例子注解SAM的运转道理。“比方说，给你一张带有猫和狗的图片。‘将照片中的猫标注出来’这便是提示；可是对付呆板来说，它并不行直接‘知道’这种文字性提示，因而就须要将文字性提示转换为呆板或许体会的提示编码。”同理，对付照片中的猫和狗，呆板现实上并不行直接“知道”什么是猫、什么是狗，而是将照片中的猫和狗与图片编码对应起来。SAM通过操练研习提示编码与图片编码的分别连接，体会人类正在文字提示中外述的欲望怎样支解这张图片。一朝“将照片中的猫标注出来”这句提示被输入时，SAM就能神速运转，取得人类念要的结果。

“固然SAM并没有所有体会人类的说话和视觉的才具，可是通过对海量数据的研习，SAM照旧或许做到凿凿实施做事。”杨戈注解道，用于操练SAM的数据集的数据量，是以往最大数据集的6倍。正在这个数据聚会，包罗1100万张图像，和11亿个标注（可纯粹体会为11亿个物体）。这是一个“走量”的历程，数据量越大，呆板支解图像的才具就越凿凿；纵然正在某张图中展示了这11亿个物体之外的物体，呆板也往往或许依照以往体会以较高的凿凿率“推想”出它是什么物体，并将其纳入己方的数据库，这便是为什么SAM对付从未睹过的物体，也能有很好的识别与支解恶果。

“须要戒备的是，这11亿个标注也不是纯手工完结的，而是通过渐进的形式自愿完结标注的。一最先，这个数据聚会惟有相对少量的标注数据。科研职员先用这些数据操练出一个模子，然后再让这个模子自愿标注数据，并通过人工对标注结果实行厘正，这就取得了比上一个数据集更大少少的数据集。如斯轮回往还，就能取得海量标注数据集。”杨戈填充道。

“我以为，SAM的展示将为估计机视觉界限的科研职员带来事务范式上的转折。”杨戈对记者说道，“SAM的展示确实会对目前少少与呆板人视觉合联的酌量界限形成进攻，但从总体上看，SAM的展示会提拔合联科研职员的效力。”

杨戈注解道，以往科研职员构修图像支解模子，是一个“从下到上、从零最先”的历程；而图像支解通用模子则将模子构修形式酿成了“从上到下”，即正在已有功能和泛化才具更强的模子根蒂上一直篡改、优化，“这不妨确实会代替某些专有模子，但从总体上看它将有利于全数界限的开展。”

工业中的呆板视觉、自愿驾驶、安防等少少从来采用估计机视觉本事的行业，由于长尾场景众，须要洪量标签数据，因而操练本钱较高。有了图像支解通用模子后，这些界限内定制化开荒产物的本钱不妨会低落，由此带来毛利率的提拔；又有少少界限，过去由于样本量少而难以利用深度研习等人工智能算法。现正在，因为SAM正在零样本或者少量样本上显露优异，少少新的利用界限将被拓展，比方从代码驱动变为视觉驱动的呆板人、流程工业场景等。

同时，因为SAM可能承受来自其他体例的输入提示，因而科幻片中依照用户视觉核心音讯来识别并选拔对应物体或将成为不妨。

SAM不但将正在上述这些前沿界限发扬效力，同样或将会用于人们的通常生涯。“比方正在医学影像诊断界限，SAM不妨会催生出精度更高的医学影像模子，提拔医疗秤谌；正在摄影历程中，SAM的参加或将告终更速更智能的人脸识别。”杨戈说道。