基于分层注意力的，让实现性能的飞跃改进策略

2024-01-08 09:02:16 阅读 0

使用的函数查找所有非零像素（即像素值为 255），然后迭代这些像素并修改它们的值。示例代码：

import cv2  
import numpy as np  
  
# 加载并二值化图像  
img = cv2.imread('image.png', 0)  
ret, img = cv2.threshold(img, 127, 255, cv2.THRESH_BINARY)  
  
# 找到所有非零像素  
non_zero_pixels = np.where(img == 255)  
  
# 遍历并修改非零像素的值  
for x, y in zip(*non_zero_pixels):  
    img[x, y] = 20  # 将像素值修改为0  
  
# 保存修改后的图像  
cv2.imwrite('modified_image.png', img)

掩模覆盖

mask叠加的方法：先创建一个与mask大小相同且均为0的矩阵，然后遍历mask并使用cv2.add进行相加。

import cv2
import glob
import numpy as np
from natsort import os_sorted
imageList=glob.glob('mask/*.jpg')
count_imag=len(imageList)
image_value=np.zeros((720, 1280),dtype = np.uint8)
for i,img_path in enumerate(imageList):
    imag_name=img_path.replace('\\','/').split('/')[-1]
    img=cv2.imread(img_path,cv2.IMREAD_GRAYSCALE)
    th, threshed = cv2.threshold(img, 254.1, 255, cv2.THRESH_BINARY)
    image_value=cv2.add(image_value,threshed)
th, threshed = cv2.threshold(image_value, 250, 255, cv2.THRESH_BINARY)
print(threshed)
#使用opencv显示图像
cv2.imshow('black image', threshed)
cv2.waitKey(0)

文章目录

概括

本专栏介绍了如何改进。改进的方法采用最新论文中提到的方法。改进方法包括：添加注意力机制、替换卷积、替换block、替换head、替换优化器等；每篇文章都提供一到N个改进方法。

评估使用的数据集是我自己标注的数据集，包含32种飞机。我对每一种改进方法都进行了评估，并与官方模型进行了比较。

待我验证文章代码和PDF版本无误后，我会将其上传至百度云盘，供大家下载使用。

本栏目不求数量，只求质量，力求全力打造精品栏目！！！

感谢您的支持！！！

改进策略：基于分层注意力，实现性能飞跃

本文向您展示如何使用改进。我尝试了几种方法，选出了三种比较有效的方法推荐给大家。

它结合了CNN的快速局部表示学习和ViT的全局建模特性的优点。新提出的分层注意力（HAT）方法将具有二次复杂度的全局自注意力分解为多级注意力，从而降低了计算成本。我们受益于基于窗口的高效自我对焦。每个窗口都可以访问参与本地和全局表示学习的专用载体代币。在高层次上，全局自注意力能够以低成本实现高效的跨窗口通信。它在准确性和图像吞吐量方面已达到 SOTA-front。

改善策略：后备箱更换及后备箱

本文主要讲解如何使用骨干网来替代. 改变了网络结构和架构。

改进策略：轻量化辅助提高速度和准确性

它是清华大学今年发布的轻量级骨干网络，引入了卷积算子的风格。该提议使用共享权重来聚合本地信息，并配置精心设计的上下文感知权重来增强本地特征。与普通结合使用，可以减少模型中的FLOPs，让模型能够感知高频和低频信息。

改进策略：结合完美，绽放光芒

是严水成团队今年发表的一篇论文，融合了和的思想，即。 -T 的训练吞吐量比 -t 高 1.6 倍，并且在 -1K 的基础上实现 0.2% 的 top-1 准确度提升。

策略改进：新发布的EMA注意力机制更强大

EMA注意力机制是今年新推出的高效多尺度注意力模块。为了保留每个通道上的信息并减少计算开销，一些通道被重塑为批量维度，通道维度被分组为多个子特征，使得空间语义特征均匀分布在每个特征组中。具体来说，除了编码全局信息以重新校准每个并行分支中的通道权重之外，还通过跨维度交互进一步聚合两个并行分支的输出特征以捕获像素级的成对关系。

改进策略：极简网络，大幅减少参数

，一种包含优雅设计的神经网络架构。通过避免高深度和复杂的操作（例如自主电源），它简单得令人耳目一新，但非常强大。每层都设计得紧凑而简单，并且在训练后修剪非线性激活函数以恢复原始结构。克服了固有复杂性的挑战，使其成为资源受限环境的理想选择。其易于理解且高度简化的架构为高效部署开辟了新的可能性。大量实验表明，所提供的性能可与众所周知的深度神经网络和视觉变压器相媲美，展示了深度学习中极简主义的力量。这一富有远见的旅程具有重新定义景观并挑战基础模型现状的巨大潜力，为优雅而有效的模型设计开辟了一条新道路。

改进策略：模块即插即用，实现平滑积分改进

是一种新的注意力机制，称为感受野注意力（RFA）。卷积块注意力模块（CBAM）和协调注意力模块（CA）仅关注空间特征，无法完全解决卷积核参数共享问题。然而，在RFA中，感受野空间特征不仅集中，而且体积大。累积内核提供了良好的注意力权重。 RFA设计的感受野注意卷积运算（RFA）可以被认为是替代标准卷积的新方法，并且其带来的计算成本和许多参数几乎可以忽略不计。由于作者没有开源，所以我自己复制了一个版本并尝试添加到网络中。

改进策略：让行走视野和轻量化高效的注意力模块展现出无与伦比的魅力

使用压缩轴和细节增强方法设计一般注意块。它还可用于创建一系列具有卓越成本效益的骨干架构。与轻型分割头相结合，我们在基于 ARM 的移动设备和数据集上实现了分割精度和延迟之间的最佳权衡。至关重要的是，我们以更好的性能和更低的延迟击败了适合移动设备和基于移动设备的对手，而且没有任何附加功能。

改进策略：应用DCN v1和v2，转型为得分王

尝试使用DCNv1和DCNv2代替普通卷积！

改进策略：基于双层路由注意力视觉提升检测能力

双层路由注意力可以通过内容感知实现更灵活的计算分配。利用稀疏性来节省计算和内存，同时仅涉及适合 GPU 的密集矩阵乘法。一个新的总体愿景，称为，是用所提出的两层路由注意力构建的。

改进的策略：Lion是最新的优化器，提高了速度和准确性。亚当说年轻人不尊重武德

改进策略：最新的优化器 Lion 提高了速度和准确性。亚当说年轻人不尊重武德

Lion 将 ViT 的准确性提高了 2%，并在 JFT 上节省了高达 5 倍的预训练计算量。在视觉语言对比学习方面，它实现了88.3%的零样本和91.1%的微调准确率，分别超过了之前的最好成绩2%和0.1%。在扩散模型上，Lion 超越了 Adam，获得了更好的 FID 分数，并将训练计算量减少了 2.3 倍。 Lion 在自回归、屏蔽语言建模和微调方面表现出与 Adam 相似或更好的性能。 Lion 的分析表明，其性能提升随着训练批量大小的增加而增长。由于符号函数产生更大的更新范数，因此它也需要比 Adam 更小的学习率。

改进策略：深度融合、极简网络、极高性能

在此基础上，进行了进一步的优化，提高了性能。

改进策略：与激情碰撞，会擦出怎样的火花？

可以将全卷积掩码自动编码器框架和新的全局响应归一化（GRN）层添加到架构中，以增强通道之间的特征竞争，从而显着提高各种识别基准上的纯性能。性能，包括分类、COCO 检测和分割。

改进策略：用Wise-IoU替换CIoU，会增加幸福感，值得拥有。还支持EIoU、GIoU、DIoU、SIoU的无缝替换。

本文介绍如何使用Wise-IoU来加分。首先我翻译了论文，让大家了解一下什么是Wise IoU以及Wise IoU的三个版本。接下来我们将讲解如何在.

改进策略：增加分支，减少漏检

通过添加分支改进小目标的检测

改进策略：与互联网深度融合，打造更快更强的检测网络

，一个新的神经网络家族，可以在各种设备上实现比其他网络更高的运行速度，而不影响各种视觉任务的准确性。

网络详解与实战（附数据集）

上一篇：学51单片机的控制方式与使用编程的区别