什么是Banner的设计过程？美团外卖技术团队尝试结合AI技术

背景

在视觉设计领域，设计师往往会为了一些简单的需求花费大量的时间，比如修改文案的内容，设计简单的海报布局，为不同的模特和展位扩展多种尺寸。这些任务需要大量的时间和人力成本（5~6张/人天），但对设计师的进步和成长影响非常有限。另一方面，精准营销是未来的一大趋势。在大流量的背景下，首页的海报资源展位需要展示“千人千面”的效果，这也对海报的制作效率提出了非常高的要求。因此，我们美团外卖技术团队尝试结合AI技术，协助设计师避免这种低产出、高重复性的工作，同时完成低成本、高效率、高质量的海报图像生成。本文以Banner（水平海报）为例，介绍我们在海报设计与AI技术结合方面的一些探索和研究。

分析

什么是横幅设计流程？我们试图总结我们对横幅设计的理解。横幅设计过程是一系列具有一定特征属性的材料层的有序堆叠过程。这里的特征属性不仅包括颜色、形状、纹理、主题等视觉属性，还包括位置、大小、贴边等空间属性。在这个过程中，机器算法可以探索哪些环节？阿里巴巴的“鲁班”系统去年双十一产生了1.7亿条横幅，京东也在孵化玲珑和莎士比亚系统ai遇到未知的图像结构，以更智能地设计文案和横幅。

封面颜色和版面设计

在设计领域的一些子问题上，可以通过算法挖掘出数据背后的规律（如图1所示）。那么，能否建立一套完整的学习算法和处理系统来解决Banner设计中的所有子问题（配色、布局、搭配、生成）？

技术解决方案

材质层是banner的基本元素，可以进行特征化，构成banner的几个元素的堆叠顺序可以序列化。因此，算法实际上是在学习“什么时候选择某种材料，放在哪里”。

如图2所示，为了解决这个问题，我们设计了一个planner、一个optimizer和一个generator来共同构建海报设计的学习和制作过程。在：

策划师从数据中了解设计师在不同风格下的设计习惯和规律；优化器根据美学质量和设计原则对前者的输出进行微调；最后，生成器选择/生成材质并将它们渲染到地图中；材料库是这三个环节的基础，负责材料管理和材料标注。材料库

如何提取材料图像的特征属性是一个典型的分类问题。在计算机视觉领域，传统的解决方案是提取图像的颜色、梯度等低级语义特征[3]，结合传统分类器（LR、SVM等）实现分类。近年来，基于深度学习的方法逐渐成为主流方法，因为它们可以表达更复杂的语义特征[4]。如图3所示，我们提取传统的低级语义特征和基于CNN的高级语义特征，共同完成材料特征属性提取。

规划师

完成素材的数据工作后，如何学习Banner的设计流程？

作为一种生成模型，对抗性生成网络（GAN）[5]近年来得到了广泛的应用，其优势在于可以端到端地训练图像生成模型，但是在我们的应用场景中，GAN有以下两种问题：

GAN的过程更像是一个“黑匣子”的过程：在输入方面，虽然Conditional-GAN等方法可以实现一定程度的条件可控生成，但对于Banner设计任务，其输入信息（文案、目标样式、主题信息）仍然过于复杂；在输出方面，GAN 直接生成源数据（即图像），但其可解释性非常缺乏。我们需要的是更直观和解释性更强的信息，比如材质的类型、颜色、轮廓、位置等。

如上所述，横幅设计过程是按顺序堆叠材料层的过程。因此，我们可以用序列生成模型[6]来拟合这个过程。在建模过程中，我们把素材看成一个词，海报看成一个句子，词索引看成一个离散的特征索引，素材堆叠的顺序可以看成是一个句子中的词序[7]。

图4是我们使用的序列生成模型，输入主题信息和目标风格，输出素材特征的序列。为了增强预测过程中多条路径结果的多样性，我们引入了一个对象损失，除了在每个时刻对输出进行监督训练外，还可以评估整个序列的合理性。如图5所示，借用SeqGAN的思想，Object loss可以由discriminator提供[8]。

优化器

规划器预测材料的量化特征，为了保证最终的图像符合审美标准，需要一个后处理过程（图6）。我们使用优化器来解决这个问题。本质上，这是一个优化的过程，通过与设计师的沟通，我们根据常规的设计理念和审美标准设计了一些目标函数，动作集包括移动、缩放、亮度调节等，结合优化方法，提升视觉效果横幅。

建造者

优化后的材质特征序列由生成器渲染成贴图。如图7所示，针对素材库无法检索到满足某个特征属性的素材的情况，我们设计了一种图像风格迁移方法来实现图像特征迁移。这里的特征可以是颜色、形状、纹理等低级特征，也可以是某种语义视觉风格特征。对于后者，可以将源图像的内容和目标图像的风格结合在一定的特征空间中。（CNN 中的一个层）进行融合以实现风格迁移 [9, 10]。

应用场景及功能扩展

“千人千面”的精准营销是未来营销策略的趋势，对商品素材的丰富度提出了非常高的要求；从赋能商家的角度来看，还需要为商家提供更加多样化的海报版面，这也需要系统具备快速学习和拓展海报风格的能力。对此，除了对常规设计风格的研究外，我们还从以下三个方面进行了一些扩展研究。

主图像处理

商品素材的丰富性和审美品质是精细化营销和海报审美品质的重要组成部分。核心要求之一是图像分割的能力[11, 12]。基于全卷积网络（FCN），如图8所示，我们采用以下目标分割领域常用的技术来实现产品图像的目标分割：

Encoder-Decoder 结构 atrous 卷积 多尺度特征融合 两阶段微调网络

这种基于语义的分割方法的结果，在专业设计人员人工质量审核的过程中，发现主体边缘有时会出现明显的锯齿状。经过分析，我们认为有两个原因：

语义分割模型将问题建模为“像素级分类过程”ai遇到未知的图像结构，其中每个像素的类别自然假设为“非此即彼”，并且大多数分割模型使用交叉熵作为损失函数；因此，无论是从模型结构（CNN）还是损失函数的角度来看，分割模型都会更倾向于全局信息而丢弃局部结构信息，导致分割结果很粗糙。

为此，如图8所示，我们除了图像分割的输出外，还结合了Image Matting方法：

对分割模型的输出结果进行形态变换，生成三值Trimap，分别表示前景区域、背景区域和未知区域；使用常规的Matting方法，如Bayesian、Close-Form等，以原始图像和Trimap图像为输入，输出前景图像的alpha通道；抠图可以使前景主体的边缘更平滑，视觉质量更高（图9）.

此外，基于图像审美质量评分模型，我们将优先选择质量得分较高的图像作为主要素材来源。对于中低分的图片，我们可以考虑利用Cycle-GAN[13]的思想，在未来设计基于半监督和GAN的图像增强网络，然后对图像进行美化和分割，生成主要成分。

海报模板扩展

上述常规设计风格的学习属于广义的设计风格，需要设计师在风格划分和数据收集处理上投入大量精力。为了快速适应热点场景，我们借鉴了图像检索技术（如图10所示），提取素材图片的CNN特征和颜色特征，使用欧式距离来衡量素材的相似度，可以节省人工贴标。自动扩展和生成固定模板（海报副本）。

多分辨率扩展

在日常工作中，设计师往往会在设计好横幅后，花很长时间去适应不同展位、不同版本、不同型号的多种尺寸（如图11所示）。算法可以用来帮助人类提高效率吗？多分辨率适配是在材质已经确定且相互位置关系基本确定的情况下进行的。这本质上是一个优化问题。在上述布局优化器的基础上，我们增加了元素的局部相对位置和全局绝对位置。位置的拓扑关系作为目标函数。目前系统支持±30%固定宽高比内的任意分辨率适配，未来适配范围将进一步扩大。