###
导读:FAIR(Facebook AI Reaearch) 何恺明团队最新论文提出 “全景 FPN”，聚焦于图像的全景分割任务，将分别用于语义分割和实例分割的FCN和Mask R-CNN结合起来，设计了 Panoptic FPN。该方法可能成为全景分割研究的强大基线。
全景特征金字塔网络 Panoptic FPN
Panoptic FPN 是一个简单的、单网络的 baseline，它的目标是在实例分割和语义分割以及它们的联合任务：全景分割上实现最高性能。
设计原则是：从具有FPN Mask R-CNN 开始，进行最小的修改，生成一个语义分割的 dense-pixel 输出。
模型架构如下：
####特征金字塔网络 (Feature Pyramid Network)：
首先简要回顾一下 FPN。FPN 采用一个具有多空间分辨率特征的标准网络 (如 ResNet)，并添加一个具有横向连接的自上而下的通道，如图 1a 所示。自上而下的路径从网络的最深层开始，并逐步向上采样，同时添加自底向上路径的高分辨率特性的转换版本。FPN 生成一个金字塔，通常具有 1/32 到 1/4 的分辨率，其中每个金字塔级别具有相同的通道维度 (默认是 256)。
####实例分割分支：
FPN 的设计，特别是对所有金字塔级别使用相同的通道维数，使得附加基于区域的对象检测器变得很容易，比如 Faster R-CNN。 为了输出实例分段，我们使用 Mask R-CNN，它通过添加 FCN 分支来预测每个候选区域的二进制分段 Mask，从而扩展 Faster R-CNN.
Panoptic FPN：
如前所述，我们的方法是使用 FPN 对 Mask R-CNN 进行修改，实现像素级语义分割预测。然而，为了实现准确的预测，该任务所使用的特性应该具备以下特征：
- 1 具有适当的高分辨率，以捕获精细的结构;
- 2 编码足够丰富的语义，以准确地预测类标签;
- 3 虽然 FPN 是为目标检测而设计的，但是这些要求——高分辨率、丰富的、多尺度的特征——正好是 FPN 的特征。因此，我们建议在 FPN 上附加一个简单而快速的语义分割分支。
实验和结果
我们的目标是证明我们的方法，Panoptic FPN，可以作为一个简单有效的单网络 baseline，用于实例分割、语义分割，以及他们的联合任务全景分割。
因此，我们从测试语义分割方法 (我们将这个单任务变体称为 Semantic FPN) 开始分析。令人惊讶的是，这个简单的模型在 COCO 和 Cityscapes 数据集上实现了具有竞争力的语义分割结果。
接下来，我们分析了语义分割分支与 Mask R-CNN 的集成，以及联合训练的效果。最后，我们再次在 COCO 和 Cityscapes 数据集上展示了全景分割的结果。定性结果如表 2 和表 6 所示。
###多任务训练
我们的方法在单任务上表现非常好；对于语义分割，上一节的结果证明了这一点；对于实例分割，这是已知的，因为该方法基于 Mask R-CNN。但是，我们是否可以在多任务环境中共同训练这两项任务呢?
为了将我们的语义分割分支与 Mask R-CNN 中的实例分割分支结合起来，我们需要确定如何训练一个单一的、统一的网络。以往的研究表明，多任务训练往往具有挑战性，并可能导致结果精度下降。我们同样观察到，对于语义或实例分割，添加辅助任务与单任务基线相比会降低准确性。
表中，ResNet-50-FPN 的结果表明，使用一个简单的语义分割损失λs，或实例分割损失λi，结果可以改善单任务 baseline 的结果。具体来说，适当地添加一个语义分割分支λs 能改进实例分割，反之亦然。这可以用来改进单任务结果。然而，我们的主要目标是同时解决这两个任务，这将在下一节讨论。
###Panoptic FPN
测试 Panoptic FPN 对于全景分割的联合任务的结果，其中网络必须联合并准确的输出 stuff 和 thing 分割。
主要结果：在表 3a 中，我们比较了使用相同骨架的 Panoptic FPN 分别训练的两个网络。Panoptic FPN 具有相当的性能，但只需要一半的计算量。
我们还通过比较两个单独的网络，分别是 Panoptic R101-FPN 和 R50-FPN×2，来平衡计算预算，见表 3b。使用大致相等的计算预算，Panoptic FPN 明显优于两个独立的网络。
综上所述，这些结果表明联合方法是有益的，我们提出的 Panoptic FPN 方法可以作为联合任务的可靠 baseline。