Facebook 最新论文：Mask R-CNN实例分割通用框架检测分割和特征点

Facebook 最新论文：Mask R-CNN实例割裂通用框架，检测，割裂和特性点定位一次搞定（众图）

--

--

导语：Mask R-CNN是Faster R-CNN的扩展样子，可以有用地检测图像中的标的，同时还能为每个实例天生一个高质料的割裂掩码。

雷锋网此前报道《FacebookAML尝试室承担人：将AI身手落地的N种要领》（上下篇）就提到，做好图像识别，不单能让Facebook的用户更精准征采到思要的图片，为瞎子读出图片中包括的音讯，还能助助用户正在平台上出卖物品、做社交引荐等等。

不日， FAIR部分的商量职员正在这一周围又有了新的冲破——他们提出一种标的实例割裂（object instance segmentation）框架Mask R-CNN，该框架较古代要领操作更粗略、更活络。商量职员把尝试功效《Mask R-CNN》公布正在了arXiv上，并暗示之后会开源相干代码。

物体识别，图像语义割裂身手能正在短时刻内迅速进展，Fast/Faster RCNN和全卷积收集（FCN）框架等身手功不行没。这些要领观点直观，演练和揣测速率疾，而且具有杰出的活络性和鲁棒性。

普通来说，标的割裂的难点正在于，它需求确切识别出图像中一切物体的对象，而且要将区别物体精准分辨开。所以，这内部涉及到两个劳动：

大师或者以为，要同时结束这两个劳动，要领肯定会相当庞杂；但Mask R-CNN却可能更轻松的治理这两个题目。

Mask R-CNN是Faster R-CNN的扩展样子，可以有用地检测图像中的标的，同时还能为每个实例天生一个高质料的割裂掩码（segmentation mask）。

它的构修要领是：正在每个兴味点（Region of Interest，RoI）上加一个用于预测割裂掩码的分层，称为掩码层（mask branch），使该层并行于已有畛域层和分类层（如下图所示）。

于是，掩码层就成为了一个小型FCN。咱们将它运用于单个RoI中，以正在pixel-to-pixel手脚中预测割裂掩码。

因为目前已有很众打算杰出，可用于Faster R-CNN的构架，所以，行动Faster R-CNN的扩展，Mask R-CNN正在运用时也没有拦阻；

Mask R-CNN 还可能很容易泛化到其它劳动上。比方，可能正在统一个框架中推测人物的举措。

正在COCO测试中可能看到，Mask R-CNN 正在实例割裂、畛域框标的检测和人物要害点检测这三个难点上都取得了较好的尝试功效，而且比每个现有的独立模子，包含 COCO 2016 寻事赛的获胜模子，发扬都要好。

图2：Mask R-CNN正在 COCO 测试集上的测试结果。结果显示，Mask R-CNN能用ResNet-101，正在 5 fps 的度下达成 35.7 的 mask AP。图上区别的颜色暗示区别的掩码，其它也给出的畛域框、种别和置信度。

图 3：顶端架构：咱们延展了两个已有的 Faster R-CNN 头 [14,21]。左图和右图区别显现了 ResNet C4 和 FPN 的主干的顶端片面，区别来自 [14] 和 [21]，况且可能看到上面还扩充了一个 mask 分支。图中的数字暗示空间差别率和信道，箭头暗示卷积、去卷积或全相连层。整体可能遵照景况揣测（卷积会维持空间维度而去卷积会扩充空间维度）。除了输出卷积是 1×1 之外，其它一切卷积都是 3×3，去卷积是 2×2，步幅为 2。咱们正在匿伏层中行使 ReLU [24]。左图中 res5 暗示 ResNet 的第 5 阶段，但为了粗略起睹，咱们做了窜改，使第 1 个卷积层运转正在一个 7×7 RoI 上，步幅为 1（而不是如 [14] 中的 14×14，步幅为 2）。右图中的 ×4 暗示 4 个延续卷积的堆叠。

上图显示，更深层的收集（图2a：50 vs 101）和更进步的打算（包含FPN和ResNeXt）都对Mask R-CNN有助助效力。然而，也不是一切框架都能自愿从中受益。