您现在的位置是:首页 > 正文

SegNetr: 重新思考 U 形网络中的局部-全局交互和跳过连接

2024-02-29 11:48:33阅读 0

会议分析

论文出处: arXiv预印版
除了没有代码,其余没毛病🚀

摘要

近年来,U 形网络因其简单且易于调整的结构而在医学图像分割领域占据主导地位。然而,现有的U型分割网络:1)大多侧重于设计复杂的自注意力模块来弥补基于卷积运算的长期依赖性的不足,这增加了网络的总体参数数量和计算复杂度; 2)简单地融合编码器和解码器的特征,忽略它们空间位置之间的联系。在本文中,我们重新思考上述问题并构建了一个轻量级的医学图像分割网络,称为SegNetr。具体来说,我们引入了一种新颖的 SegNetr 模块,它可以在任何阶段动态地执行局部-全局交互,并且仅具有线性复杂度。同时,我们设计了**通用信息保留跳跃连接(IRSC)**来保留编码器特征的空间位置信息并实现与解码器特征的精确融合。我们在四个主流医学图像分割数据集上验证了 SegNetr 的有效性,其参数和 GFLOP 比普通 U-Net 分别减少了 59% 和 76%,同时实现了与最先进方法相当的分割性能。值得注意的是,本文提出的组件可以应用于其他 U 形网络,以提高其分割性能。


贡献

  1. 我们提出了一种轻量级的 U 形 SegNetr 分割网络,具有更少的计算成本和更好的分割性能。
  2. 我们研究了传统U形跳跃连接框架的潜在缺陷,并改进了具有信息保留的跳跃连接。
  3. 当我们将本文提出的组件应用于其他U形方法时,分割性能获得了一致的改进。

方法

整体框架

在这里插入图片描述
1. 左边是常见的五层编码器,每个编码模块都是由Patch Merging+Segnetr block组成;
2. segnetr block由局部分区和全局分区两层实现
作为即插即用的模块,如果该论文公开代码,会极大的促进各位的工作🐕

1. SegNetr Block

在这里插入图片描述
1. 特征首先经过Efficent Net的基础模块 MBConv进行初步提取 Efficient Net
2. 局部分区使用的是VIT+Flatten+FFN+残差
3. 全局分区使用的是Swin VIt+Flatten+FFN+残差
没有代码真的很难解读

2.Information Retention Skip Connection

在这里插入图片描述
这个图画的真的很好,可以作为跳跃连接优化部分的基础图,将原始UNet的跳跃连接修改,在数据结合之前添加了PatchMerge-PatchReverse操作

实验

用了四个公共数据集:ISIC2017和 PH2 两个皮肤病分割数据集,、TNSCUI 甲状腺分割数据集、 ACDC核磁共振心脏分割数据集

1.对比实验

与9个模型在四个数据集上对Dice、IoU、Params和GFLOPs四指标进行比较
在这里插入图片描述
在这里插入图片描述
结果喜人,就是没有代码 🐕

2.消融实验

2.1 Effect of local-global interactions.

在这里插入图片描述
分别是不带Local-Global、Only Local、Only Global、线性、并行,结果是并行的效果最好

2.2 Effect of patch size

在这里插入图片描述
测试SegNetr block中patch的大小对模型整体的影响!

2.3 Effect of IRSC

在这里插入图片描述
主要是看信息增强跳连接(IRSC)对其他模型的影响

可借鉴参考

  1. 阅读 UNeXt 2022
    Valanarasu J M J, Patel V M. Unext: Mlp-based rapid medical image segmentation network. In: MICCAI. pp. 23-33. Springer (2022)
    🚀解读已写:UNext:基于 MLP 的快速医学图像分割网络
  2. 阅读 MedT 2021
    Valanarasu J M J, Oza P, Hacihaliloglu I, et al. Medical transformer: Gated axialattention for medical image segmentation. In: MICCAI. pp. 36-46. Springer (2021)
  3. 阅读 FAT-Net 2022
    Wu H, Chen S, Chen G, et al. FAT-Net: Feature adaptive transformers for automated skin lesion segmentation. MED IMAGE ANAL, 76: 102327. (2022)
  4. 阅读 Maxvit 2022
    Tu Z, Talebi H, Zhang H, et al. Maxvit: Multi-axis vision transformer. In: ECCV. pp. 459-479. (2022)
  5. 阅读Uctransnet 2022
    Wang H, Cao P, Wang J, et al. Uctransnet: rethinking the skip connections in u-net from a channel-wise perspective with transformer. In: AAAI. pp. 36(3): 2441-2449. (2022)
  6. 阅读 ConvUNeXt 2022
    Han Z, Jian M, Wang G G. ConvUNeXt: An efficient convolution neural network for medical image segmentation. KBS, 253: 109512. (2022)
    KBS期刊

网站文章

  • ubuntu查看修改主机名

    ubuntu查看修改主机名

    为什么80%的码农都做不了架构师?>>> ...

    2024-02-29 11:48:28
  • GCC中通过--wrap选项使用包装函数

    GCC中通过--wrap选项使用包装函数

    在使用GCC编译器时,如果不想工程使用系统的库函数,例如在自己的工程中可以根据选项来控制是否使用系统中提供的malloc/free, new/delete函数,可以有两种方法: (1). 使用LD_P...

    2024-02-29 11:48:19
  • 数据库学习记录——错题总结(一)

    数据库学习记录——错题总结(一)

    第一套 1.对关系模型叙述错误的是( )。 正确答案: D 你的答案: D (正确) 建立在严格的数学理论、集合论和谓词演算公式的基础之上 微机 DBMS 绝大部分采取关系数据模型 用二维表表示关系模...

    2024-02-29 11:47:50
  • Android Fragment生命周期及各个方法使用

    Android Fragment生命周期及各个方法使用

    在Android开发中,我们都少不了使用Fragment,一直在使用,但是没有很详细的理解过具体生命周期的回调,这段时间比较闲,特定写一下总结:就像activity一样,fragment也有它们自己的...

    2024-02-29 11:47:43
  • 蒸米ROP学习笔记(一步一步学 ROP 之 Linux_x86 篇)

    这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中...

    2024-02-29 11:47:34
  • bower安装库出现的问题解决办法

    bower安装库出现的问题解决办法

    通过bower install安装包时出现了错误: (1)bower ENOGIT git is not installed or not in the path ( 2 ) 提示解决的方案是:本机未安装git,或者环境变量没有配置 git的安装路径; 根据提示把git的安装路径添加到环境变量PATH上,但是通过命令行用PAHT命令查看,刚才添加的路径

    2024-02-29 11:47:05
  • html div浮动效果,【html】【6】div浮动float

    html div浮动效果,【html】【6】div浮动float

    我想 当看完上面的必看链接,拥有一定的基础后也得7天左右,记住 一定要看完,知道它都有什么,没学会不要紧,哪怕只是有个简单的概念也行,随着后续的使用慢慢深入学习,现在开始div布局。必看参考:http...

    2024-02-29 11:46:57
  • C# 编程规范 (coding standard)

    读书笔记, 摘自《Programming .NET Components》1. 用Pascal命名原则定义类型、函数和常量。public class SomeClass { const int DefaultSize = 100; public SomeMethod() {}}2. 用camel命名原则定义局部变量和函数参数。int numbe...

    2024-02-29 11:46:46
  • 43.241.18.123哪些问题会导致服务器里面时间错误

    我们在使用服务器的过程中,有时候可能会发现,服务器里面时间跟标准的时间对不上,那服务器里面时间错误可能由哪些问题引起:

    2024-02-29 11:46:13
  • C++用API实现鼠标带轨迹移动

    void Contra(int dual_X,int dual_Y); //带轨迹移动鼠标int More(int mini,int maxi); //生成随机数int More(int mini,int maxi) //生成随机数函数{ //参数:1.区间最小值;2.区间最大值 srand((unsigned)time(NULL)); //初始化随机数种子 i...

    2024-02-29 11:46:07