注意力机制模块：轻量化注意力 Triplet Attention 详解及在目标检测中的实战

引言：注意力机制为什么需要“轻量化”？近年来，注意力机制（Attention Mechanism）凭借其在通道或空间位置之间构建相互依赖关系的能力，已经成为深度学习中提升模型性能的关键组件。从经典的SENet（Squeeze-and-Excitation Networks）到CBAM（Convolutional Block Attention Module），再到ECA-Net（Efficient Channel Attention），研究者们不断探索更高效、更轻量的注意力设计。然而，传统注意力机制存在两个显著的短板：第一，通道注意力在计算时通常通过全局平均池化将输入张量在空间上压缩为每个通道一个像素，导致空间信息的大量丢失；第二，大多数方法要么只关注通道维度，要么将通道注意力和空间注意力分离开来分别计算，忽略了不同维度之间的跨维度交互依赖关系。正是在这样的背景下，发表于WACV 2021的论文《Rotate to Attend: Convolutional Triplet Attention Module》提出了一种全新的注意力机制——Triplet Attention（三重注意力）。本文将深入剖析Triplet Attention的设计哲学、架构原理、代码实现、与主流注意力机制的对比，以及在目标检测任务中的实战应用。一、Triplet Attention 核心原理深度剖析1.1 设计动机：从“单维度压缩”到“跨维