浙商证券-AI前沿跟踪系列（九）：稀疏率降低的白盒Transformers-231214

　　核心观点

　　Yi Ma et al.在论文《White-box transformers via sparse rate reduction: compression isall there is？》中提出了一个具备数学可解释性的白盒类Transformer模型CRATE。http://www.hibor.com.cn【慧博投研资讯】文中引入了一个核心概念“稀疏率降低”（Sparse Rate Reduction），通过同时最大化内在信息增益和外在稀疏性来评估在深度学习网络学习到的表征的质量。http://www.hibor.com.cn（慧博投研资讯）基于CRATE架构的深度学习模型在多个基准测试中证明作为一种新型的网络架构在大规模真实数据集上的有效性和潜力。

　　表征学习的自然目标和稀疏率降低

　　论文认为表征学习的核心目标应当是将数据压缩并转换为在不相干子空间上的低维高斯混合。为此，引入了“稀疏率降低”这一度量标准，用以评估表征的优越性。这种度量通过同时最大化内在信息增益和外在稀疏性，为表征学习提供了一个新的优化目标。

　　CRATE模型的提出与解释性

　　CRATE（Coding-RATETransformer）是论文中提出的新型深度网络架构。这一架构基于交替优化策略，专注于稀疏速率降低目标。它包括一个多头自注意力操作符，用于压缩表征，以及随后的多层感知器，用于稀疏化特征。CRATE模型的一个显著特点是其数学上的可解释性，它不仅提供了对深度网络包括Transformers在内的一种新解释，还在结构和操作上具有清晰的数学意义。

　　理论与实践的桥梁

　　论文通过一系列实验，展示了CRATE模型在各种学习任务上的实际表现。尽管CRATE在设计上强调理论解释性，但它在实际应用中，如图像分类、语言模型等方面，展现了与传统深度学习模型相媲美的性能。这些实验结果不仅验证了CRATE理论上的优雅，也证明了其在实际应用中的有效性。

　　风险提示

　　报告依据最新前沿论文进行解读评述，若有理解不当请以原始论文表述为准。且本报告为AI应用方法和框架介绍，并不作为有效投资方法建议，仅供参考。