Differentiable vector graphics rasterization for editing and learning

Li T M, Lukač M, Gharbi M, Ragan-Kelley J. Differentiable vector graphics rasterization for editing and learning[J]. ACM Transactions on Graphics (TOG), 2020, 39(6): 1-15. DOI: 10.1145/3414685.3417821.

构造渲染模型

使用光栅化公式渲染矢量图形，对于像素 $(x,y)$ 的颜色 $I(x,y)$，通常由覆盖这个像素的小区域内图形的颜色加权计算得出：

$$I(x,y)={\iint }_{A}k(u,v)f(x-u,y-v;\mathrm{\Theta })dudv$$

求解：

基于离散化近似·蒙特卡洛采样（Monte Carlo）

$$I(x,y)\approx \frac{1}{N}\sum _{i=1}^{N}k(u_i,v_i)f(x-u_i,y-v_i;\mathrm{\Theta })$$$$\begin{array}{rl}\frac{\partial I(x,y)}{\partial \mathrm{\Theta }}& =\frac{\partial }{\partial \mathrm{\Theta }}{\iint }_{A}k(u,v)f(x-u,y-v;\mathrm{\Theta })dudv\\ & =\frac{\partial }{\partial \mathrm{\Theta }}{\iint }_{A}g(u,v)dudv\end{array}$$

为了方便起见，使用 $g(u,v)$ 表示场景函数 $f$ 和核函数 $k$ 的乘积。 假设 $k$ 是连续的，将区域 $A$ 划分为多个子区域 $A_i$，使得 $g$ 的所有不连续点都在积分边界上：

$$\frac{\partial }{\partial \mathrm{\Theta }}\iint g(u,v)dudv=\sum _i\frac{\partial }{\partial \mathrm{\Theta }}{\iint }_{A_i(\mathrm{\Theta })}g(u,v)dudv$$

使用雷诺传输定理（RTT）：

$$\begin{array}{rl}\frac{\partial }{\partial \mathrm{\Theta }}{\iint }_{A_i(\mathrm{\Theta })}g(u,v)dudv& =\underset{\text{区域项}}{\underbrace{{\iint }_{A_i(\mathrm{\Theta })}\frac{\partial }{\partial \mathrm{\Theta }}g(u,v)dudv}}\\ & +\underset{\text{边界项}}{\underbrace{{\int }_{\partial A_i(\mathrm{\Theta })}(\frac{\partial p(t)}{\partial \mathrm{\Theta }}\cdot n(t))g(p(t))dt}}\end{array}$$

其中：

• 区域项描述区域内函数 $g$ 随参数 $\mathrm{\Theta }$ 的变化
• 描述边界运动对积分的影响

对于边界项：

$${\int }_{\partial A}\underset{\text{边界移动速度 }}{\underbrace{(\frac{\partial p}{\partial \mathrm{\Theta }}\cdot n)}}\cdot \underset{k(p)f(p)}{\underbrace{g(p)}}dt$$

当 $\mathrm{\Theta }$ 变化时，边界位置 $p$ 改变 → 导致 $f$ 的采样位置改变 → 间接引起 $f$ 的变化

当 $f$ 在边界处存在阶跃不连续时，直接计算 $\frac{\partial f}{\partial \mathrm{\Theta }}$ 会失效，所以：

在边界点 $p$ 处，沿法向 $n$ 的方向导数为：

$$\frac{\partial f}{\partial n}=\underset{ϵ\to 0}{lim}\frac{f(p+ϵn)-f(p-ϵn)}{2ϵ}$$

使用有限差分近似：

$$\frac{\partial f}{\partial n}\approx \frac{f(p+ϵn)-f(p-ϵn)}{2ϵ}$$

代入边界项：

$${\int }_{\partial A}(\frac{\partial p}{\partial \mathrm{\Theta }}\cdot n)\cdot g(p)dt\approx {\int }_{\partial A}(\frac{\partial p}{\partial \mathrm{\Theta }}\cdot n)\cdot k(p)\cdot [f(p+ϵn)-f(p-ϵn)]dt$$

通过蒙特卡洛采样边界点 $p_j$，得到：

$$\sum _i{\int }_{\partial A_i(\mathrm{\Theta })}({\mathrm{\nabla }}_{\mathrm{\Theta }}p\cdot n)f(x,y;\mathrm{\Theta })dxdy\approx$$$$\frac{1}{N}\sum _j\frac{({\mathrm{\nabla }}_{\mathrm{\Theta }}{p}_j\cdot n_j)(f(p_j+ϵn_j)-f(p_j-ϵn_j))}{P(p_j\mid c)P(c)}$$

基于符号距离场（Signed Distance Field，SDF）的分析预滤波（Analytical Prefiltering）