斯坦福与伯克利分校突破深度学习图像分割技术

正在计划机视觉规模，一项由斯坦福大学的Jonathan Long、Evan Shelhamer和加州大学伯克利分校的Trevor Darrell协同达成的开创性咨议正正在厘革咱们让计划机看懂图像的形式。这项题为Fully Convolutional Networks for Semantic Segmentation（全卷积汇集用于语义朋分）的咨议颁发于2015年IEEE计划机视觉与形式识别聚会（CVPR），并可通过DOI: 10.1109/CVPR.2015.7298965获取。这篇论文不只正在颁发后缓慢成为该规模的经典之作，更为厥后的繁众咨议奠定了基本。

设思一下，当你看到一张街景照片时，你能够轻松地辨认出照片中的汽车、行人、兴办和道途。这对咱们人类来说是云云自然，但对计划机而言却是一项极具挑衅的义务。这恰是语义朋分要处理的题目——让计划机不妨像人类一律，不只识别出图像中有什么物体，还能切确地明了这些物体正在图像中的真实地位和范围。

正在这项咨议之前，计划机视觉规模仍旧得到了明显希望，迥殊是正在图像分类方面。咨议职员仍旧斥地出不妨判别这张图片是否包蕴猫的算法，但要让计划机切确指出猫正在图片中的哪个地位，它的轮廓是什么样的照旧是一个困难。古板法子往往需求繁杂的众阶段处置，效果低下且确实度有限。

Long、Shelhamer和Darrell团队提出的全卷积汇集（FCN）法子，就像是给计划机装备了一双不妨切确描边的眼睛。这种法子的核头脑思能够比作一位艺术家的做事历程：先大致分解整幅画的重心（识别图像中的物体种别），然后拿起画笔，切确地勾画出每个物体的轮廓（确定每个像素属于哪个种别）。

这项咨议的一个强大冲破正在于，咨议团队精巧地将正本用于图像分类的卷积神经汇集转动为全卷积汇集。这就像是把一个只会说这是苹果的助手，锻炼成一个不妨切确指出这里是苹果的皮，这里是苹果的梗，这里是苹果的肉的专家。

古板的卷积神经汇集正在处置图像时，会慢慢将图像压缩成更小的特质图，最终获得一个分类结果。这就像是把一幅详尽的画作压缩成一个轻易的标签。而全卷积汇集则保存了空间讯息，就像是正在压缩的同时，记住了每个细节该当正在原画的哪个地位。

咨议团队面对的一个症结挑衅是若何从这些压缩的特质图重修出原始巨细的朋分结果。他们的处理计划是引入了上采样和跳跃连绵手艺。上采样就像是把一幅缩小的画作从新放大，而跳跃连绵则确保正在放大历程中不会损失紧急的细节讯息。

全部来说，咨议职员将经典的分类汇集（如AlexNet、VGG和GoogLeNet）改形成全卷积形状，移除了末了的全连绵层，代之以卷积层。这就像是把一个只会给整张图片打分的评委，锻炼成一个不妨为图片中的每个区域孑立打分的专家评委团。

接着，他们通过反卷积（或称转置卷积）层告终上采样，将深层汇集的粗疏预测逐渐光复到原始图像巨细。这个历程就像是先用粗笔勾画出大致轮廓，然后逐渐用细笔完整细节。

更为精巧的是，咨议团队挖掘，仅靠深层特质举行上采样往往会损失细节讯息，发作恍惚的范围。于是他们引入了跳跃连绵机闭，将浅层汇集中保存的细节讯息与深层汇集中的语义讯息勾结起来。这就像是一个画家正在创作历程中，既切磋全体构图（深层语义），又不忘怀局限细节（浅层特质）。

咨议团队正在众个公然数据集上测试了他们的法子，蕴涵PASCAL VOC、NYUDv2和SIFT Flow。结果证据，全卷积汇集不只正在确实度上超越了当时的最佳法子，况且正在速率上也有明显晋升。古板法子可以需求几十秒处置一张图片，而全卷积汇集能够正在不到一秒的时候内达成同样的义务。

这项咨议的另一个紧急功劳是注明了端到端锻炼的有用性。古板的语义朋分法子往往需求众个独立的处置阶段，而全卷积汇集能够一次性从输入图像直接发作像素级的朋分结果。这就像是把一个需求众个专家合营达成的义务，交给一个锻炼有素的万能专家一次性达成。

咨议团队还物色了差别深度的汇集机闭和差别上采样战术的影响。他们挖掘，更深的汇集（如VGG-16）往往不妨供应更好的功能，而众标准预测的调和（他们称之为FCN-8s）不妨发作最缜密的朋分结果。这就像是勾结了众位差别擅长的艺术家的定睹，最终创作出特别精湛的作品。

值得一提的是，咨议职员还注明了这种法子的通用性和可迁徙性。他们告成地将预锻炼的分类汇集迁徙到朋分义务上，并正在差别类型的图像数据集上得到了优异的恶果。这证据全卷积汇集不只正在特定场景下有用，况且具有广大的顺应性。

这项咨议的实践操纵价钱阻挡马虎。语义朋分手艺仍旧正在主动驾驶、医学影像阐述、加强实际等规模出现出宏伟潜力。比方，主动驾驶汽车需求切确识别道途、行人和其他车辆的地位；医学影像阐述需求确实定位器官和病变区域；加强实际操纵需求了解实际处境的机闭。全卷积汇集为这些操纵供应了一种高效、确实的处理计划。

咨议团队也坦诚地指出了他们法子的限定性。全卷积汇集正在处置小物体或修长机闭时仍有改革空间，对待物体范围的切确定位也不敷理思。这些题目正在后续的咨议中获得了进一步的处理，如通过前提随机场（CRF）后处置或更繁杂的汇集机闭来改革范围定位。

从更广大的角度来看，这项咨议代外了深度研习正在计划机视觉规模的一个紧急里程碑。它不只供应了一种新的手艺法子，更紧急的是开创了一种新的思绪——将分类汇集改制为朋分汇集的思绪。这种思绪影响了厥后的繁众咨议，蕴涵实例朋分、全景朋分等更繁杂的义务。

方今，全卷积汇集仍旧成为语义朋分规模的基本手艺，并衍生出了很众改革版本，如DeepLab、PSPNet、U-Net等。这些法子正在各自的操纵规模得到了明显告成，但它们的核头脑思都能够追溯到这篇开创性的论文。

总的来说，Long、Shelhamer和Darrell的咨议不只处理了一个全部的手艺题目，更为计划机视觉规模的生长指了然宗旨。它注明了深度研习不只不妨解答图像中有什么的题目，还能解答它们正在哪里的题目，从而使计划机真正开端了解它所看到的宇宙。

对待对这项咨议感乐趣的读者，能够通过IEEE数字藏书楼或相干学术平台查阅原论文。其它，咨议团队还公然了他们的代码告终，使其他咨议者和斥地者不妨更容易地了解和操纵这一手艺。

Q1：什么是语义朋分，它与图像分类有什么区别？ A：语义朋分是让计划机识别图像中每个像素属于哪个种别的手艺，而图像分类只是判别整张图片包蕴什么物体。打个比如，图像分类能告诉你这是一张有猫的照片，而语义朋分能切确指出照片中这些像素是猫，那些像素是配景，告终像素级的切确识别。

Q2：全卷积汇集(FCN)的中央改进是什么？ A：FCN的中央改进正在于将古板用于分类的卷积神经汇集转动为能举行像素级预测的汇集。它移除了分类汇集中的全连绵层，保存空间讯息，并通过上采样和跳跃连绵手艺重修原始辞别率的朋分结果。这使汇集不妨端到端地从输入图像直接发作切确的朋分图，而不需求繁杂的众阶段处置。

Q3：FCN咨议对实践操纵有什么影响？ A：FCN咨议对主动驾驶、医学影像阐述和加强实际等规模发作了深远影响。比方，主动驾驶汽车运用语义朋分切确识别道途和失败物；医师能够用它主动定位医学图像中的器官和病变；加强实际操纵则用它了解处境机闭。其它，FCN还动员了繁众后续咨议，如DeepLab和U-Net等广大操纵的改革模子。