用于形状约束学习与最优传输的 Hyper Input Convex Neural Networks

本文针对凸函数学习中现有 input convex neural networks (ICNNs) 难以在深度上发挥优势、且大规模训练不稳定的问题，提出了 Hyper Input Convex Neural Networks (HyCNNs)。该架构将 Maxout 网络的思想与 ICNN 相结合，使网络在输入上始终保持凸性，同时在理论上能够利用深度，并在大规模训练时具有更可靠的表现。作者在理论上证明，HyCNNs 在以给定精度逼近二次函数时所需参数数量比 ICNNs 指数级更少。在一系列合成实验中，作者验证了 HyCNNs 在凸回归与插值任务上的预测性能优于现有 ICNNs 和 MLP。进一步地，作者将 HyCNNs 应用于高维 optimal transport 映射的学习，包括合成示例与 single-cell RNA sequencing 数据，结果显示其在多种设定下往往优于基于 ICNN 的 neural optimal transport 方法及其他基线。与已有工作相比，本文的差异在于通过引入 Maxout 结构突破了 ICNN 在深度利用与可扩展训练上的局限，并以参数效率的理论保证加以支撑。