EAFormer是什么

EAFormer是复旦推出的AI文本分割框架。擅长在照片中找到文字，并且能很精确地把文字从背景中分离出来。即使文字的边缘很模糊或者背景很复杂，EAFormer也能做得很好。对于想要从图片中去除文字或者编辑文字的人来说非常有用。EAFormer是一个能让我们轻松处理图片中文字的智能助手。

EAFormer的主要功能

• 找文本：在照片或图片里，EAFormer能快速找到所有的文字。
• 描边角：不仅能找到文字，还能特别准确地描绘出文字的边缘，哪怕是弯弯曲曲的地方。
• 改背景：如果你想把图片里的文字去掉，换上新的背景，EAFormer让文字看起来像是从未有过一样。
• 学新招：如果EAFormer碰到了新的或不同语言的文字，能很快学会并提高识别能力。

EAFormer的技术原理

• 文本边缘提取器：利用Canny算法检测图像中的边缘，并结合轻量级文本检测模型来过滤非文本区域的边缘，只保留文本区域的边缘信息。
• 边缘引导编码器：基于SegFormer框架构建，通过对称交叉注意力层在编码过程中融入边缘信息，增强模型对文本边缘的感知能力。
• MLP解码器：采用多层感知机(MLP)层来融合特征并预测最终的文本mask，实现文本区域的精确分割。
• 损失函数设计：使用文本检测损失和文本分割损失两种交叉熵损失进行优化，通过超参数平衡两者权重，简化了超参数选择的复杂性。
• 数据集重新标注：针对COCO_TS和MLT_S等数据集的标注质量问题，进行了重新标注，确保评估结果的可靠性和模型训练的准确性。
• 特征融合策略：在边缘引导编码器中，通过设计的对称交叉注意机制仅在第一层融合边缘信息，避免了在所有层中融合边缘信息可能带来的性能下降。
• 轻量级文本检测器：在文本边缘提取器中使用，包括基于ResNet的骨干网络和MLP解码器，用于提取文本区域特征并辅助边缘过滤。

EAFormer的项目地址