光照贴图接缝

Author Avatar
Kanglai Qian 8月 24, 2019

之前翻Unity的更新日志时候发现Progressive Lightmapper里自带上了Lightmap seam stitching。正好之前研究过这个问题,出于手痒也在Unity里实现了一发,在这里也整理下这个问题的原因、现象及解决办法。

下图为Unity文档示例,红框为有Seam的错误效果,绿框为修复效果。

问题成因

模型展开2UV需要将三维模型平铺到平面,那么就可能出现这种情况(下图黄边):两个相邻的面共用一条边,但是展开2UV之后是两条不同的边。

烘焙的时候这两个相邻面上的像素各自计算光照,由于精度问题可能导致结果不一致,导致光照贴图上的瑕疵。

解决思路

这个问题我最早是在Lighting Technology of The Last Of Us看到,从Unity文档描述应该也是类似做法。

下面具体解释下实现思路,其实核心就是两步。

找到Lightmap Seam

对于单个Mesh,我们可以直接获得对应的顶点坐标和2UV坐标。这里需要将三角形的Index数据全部展开,因为本身Mesh导入时候光滑组设置不同可能导致有时候同一个顶点能复用、有时候是裂开的顶点。

然后暴力搜索任意两条边,需要满足两个条件

  • 两条边的起点、终点的位置重合
  • 两个三角形的面法线差别不要过大

第二个条件相当于是一个自定义的阈值,因为如果本身面法线差别很大就说明光照本来就可能有较大差别。

“粘合”Lightmap Seam

这一步其实就是stitching了。其实公式在前面PPT里已经列出:我们需要构造Ci使得两侧颜色误差尽量小,同时本身颜色变化尽量小。这个其实就转化为一个过拟合的最小二乘法,直接套用现成Solver即可。

ps. 这里有个小技巧就是不同通道颜色完全可以分别计算,每次相当于计算一个灰度图结果。

参考项目

我参考ands/seamoptimizer移植了一个Unity版本实现qiankanglai/seamoptimizer

下图是测试结果:首先故意烘焙一个三方向硬边的结果

使用Lightmap Seam Stitching之后可以看到相邻边出现了一个过度

对比起见,将Lightmap改成Point Filter看的更加清楚

数学推导

这里稍微展开讲下数学部分,我们是如何去建模、求解这个能量方程的: 首先Lightmap Seam上采样若干对点,每对点(上图的$C_{0i}$和$C_{1i}$)又对应到光照贴图里的8个像素$C_{i0}=\sum^{4}_{j} w_{0ij} t_{0ij}$。这里考虑了bilinear采样,$w_{0ij}$表达权重(也就是$C_{i0}$距离四个点的距离),$t_{0ij}$表达光照贴图上这个像素的颜色。

然后我们来构造一个矩阵$AT=B$,其中T就是每个像素对应的值,$A$里面每一行对应一个约束,分为两类

  • $A[k] = [… w_{0i1} … w_{0i2} … w_{0i3} … w_{0i4} … -w_{1i1} … -w_{1i2} … -w_{1i3} … -w_{1i4} …], B[k] = 0$ 这里A的其余项都是0,利用矩阵乘法的性质就是构造出$\sum^{4}_{j} w_{0ij} t_{0ij} - \sum^{4}_{j} w_{1ij} t_{1ij} = 0$即接缝两侧值要相同;
  • $A[k] = [… lambda …], B[k] = lambda * c$这里c为光照贴图原始像素的值,对应就是$lambda t_{i} = c_{i}$即每个像素的值和原始值相比,不能变化过大。

这样就构造了一个过拟合的公式,利用最小二乘法求解即可。$lambda$是权重,控制最后的结果是更倾向于接缝消失还是更倾向于颜色变化小。

更具体的实现可以参考Algorithm Analysis: Linear Least Squares Problem,提到了Chomsky decomposition method。

实现细节

实现的时候我遇到了一个非常坑的光照贴图编码问题:如何正确的把光照贴图数据读取出来,因为Unity在不同平台下自带了不同编码方式…当时折腾了半天没搞定,最后野路子直接写了个Hidden/DecodeLightmap的Shader把原始光照贴图拷贝到一个Float纹理然后读出来,算是绕开这个大坑…

其他的还好就遇到了几个小问题。

ps. 这个工程是我做着玩的,没有在大规模场景测试过…

使用说明

我简单包装了一下,功能都在菜单里

  • Optimize Lightmaps: 一键优化接缝,其实是在Unity自带的光照贴图旁边生成一堆优化过的版本
  • Apply Optimized Lightmaps: 将处理过的光照贴图应用到场景
  • Apply NonOptimized Lightmaps: 将原版光照贴图应用到场景
  • Visualize Mesh 2UV/Seams: 调试功能,无视

代码里有两个参数cosNormalThreshold控制那些面需要平滑接缝,lambda控制能量函数权重。