Optimize & Reduce: A Top-Down Approach for Image Vectorization

Hirschorn O, Jevnisek A, Avidan S. Optimize & Reduce: A Top-Down Approach for Image Vectorization[C]//Proceedings of the Thirty-Eighth AAAI Conference on Artificial Intelligence (AAAI-24). 2024: 2148-2156.

损失函数

交点损失

对于线段 $AB$ 与 $CD$：

$$\begin{array}{c}\mathrm{orientation}(P_1,P_2,P_3)=\tanh ((P_{2y}-P_{1y})\cdot (P_{3x}-P_{2x})-(P_{2x}-P_{1x})\cdot (P_{3y}-P_{2y}))\\ o_1=\mathrm{orientation}(A,B,C)\\ o_2=\mathrm{orientation}(A,B,D)\\ o_3=\mathrm{orientation}(C,D,A)\\ o_4=\mathrm{orientation}(C,D,B)\\ o_5=\mathrm{orientation}(B,C,D)\\ \mathrm{intersect}(AB,CD)=(o_1\ne o_2)\cdot (o_3\ne o_4)\\ \mathrm{orient}(AB,CD)=o_1\cdot o_5\end{array}$$

相交判断（intersect）：

• $(o_1\ne o_2)$：点 C 和 D 在线段 AB 两侧
• $(o_3\ne o_4)$：点 A 和 B 在线段 CD 两侧

方向关系（orient）:

• 正值 → 同向旋转
• 负值 → 反向旋转
• 零 → 至少三点共线

如果两条曲线段相交，则应鼓励它们之间的夹角尽量要小；如果不相交，则 应增大它们之间的夹角:

$$\theta =\mathrm{atan}2(\mathrm{cross}(AB,CD),\mathrm{dot}(AB,CD))$$$$L_{\text{intersect }}=\text{ intersect }\cdot ({\lambda }_{\text{geometric\_punish}}-1)\cdot \cos (\theta )$$

角度损失

角度损失用来鼓励生成的 Bézier 曲线的连接部分保持良好的角度关系：

$$L_{\text{angle }}=\mathrm{Relu}(-\frac{\overrightarrow{AB}\cdot \overrightarrow{BC}}{|\overrightarrow{AB}|\cdot |\overrightarrow{BC}|})+\mathrm{Relu}(-\frac{\overrightarrow{BC}\cdot \overrightarrow{CD}}{|\overrightarrow{BC}|\cdot |\overrightarrow{CD}|})$$

通过惩罚相邻线段形成的钝角（>90°），迫使模型学习形成直角或锐角（≤90°）的几何结构