光电学院本科生㊣在信息融合权威期ㄨ刊Information Fusion发表论文
光电学院2018级本科生金诚跟随数学科学学院邓良剑特聘研究员进行的大学生创新创业训练计划项目《基于图神经网络的卫星遥感」影像融合问题研究》成果显著。近日,在邓良剑老师的指导下,金诚作为第一作者、邓良剑特聘研究员为通讯♀作者的题为“Laplacian Pyramid Networks: A New Approach for Multispectral Pansharpening”的遥感图像全色锐化研究论文,在【信息融合领域权威期刊Information Fusion(中科院大类一区,TOP期刊, 影响因子12.97)发表。
在遥感卫星成像系统中,卫星传感器可获取同一幅地面场景的两幅不同↑图像,即多光谱图像和全∴色图像。多光谱图像相较于全色图空间分辨率较低,但光谱波段较多;而全色图像为单波段图像,但具有较【高的空间分辨率。遥感图像全色锐化(Pansharpening)问题的主要目的是将全色∞图像与多光谱图√像融合,进而获得高分辨率的多光谱图像(见图1)。
图1. 全色锐化(Pansharpening)示意图(数据来源:WorldView3卫星数据)
近年来,基于卷积神经网络(CNN)的全色锐化方法取得了优异效果。然而,现有基于CNN的方法仍※存在改进空间。第一,现有CNN方法对图像的多尺度特性(multi-scale property)不能做到充分利用。第二,即便有的工作涉及到对图像多尺度信息的运用(如传统拉普拉斯金ω 字塔分解),但这些工作大部分采用统一的卷积核■对图像进行下采样以获得图像多尺度细节信息,这不符合全色锐化的实际物理过程,也会降低神经网络的性能。
图2. 传统拉普拉斯金字√塔分解示意〗图,采用了固定的高斯核进行卷积操作
针对上述问题,研究者考虑到改进传统图像处理的多尺度方法——拉普拉斯金字塔分解(LPD),即将输入图像分解为不同尺度的特征图像以获得图像的多】尺度细节信息,从而以更好的方式描绘全局和局部信息(详见图2)。但与传统LPD不同的是,本文利用卫星成像传感器的调制传递函数(MTF)去生成卷积核,从而更加适应特殊的全色锐化问题。同时,作者利用◎这种提出的基于MTF的拉普拉斯金字塔分解得到的多尺度空间来设计端到端的深度学习网络结构。并在金字塔结构的每一层设计相应的子网︾络去提取不同尺度上的图像信息,最后将得到的不同尺度的特征图像进行上采〗样进而融合在一起,得到最终的输出图像。为了降低网络的参数量,在各层子网络之间采用递归块参数共享策略(详见图3)。
图3. 论文提出的LPPN网络☉示意图々
该研究改进了传统图像处理的拉普拉斯金字塔分解,其优势在于:(1)改进后的方法利用了特定卫█星成像传感器的光学调制传递函数(MTF)生成的卷积核进行图像拉普莱斯金字塔多尺度分解,对真实数据效果更佳;(2)基于(1)中的分解,该工作设计了多尺度的结构化子网络,提高了在特征提取阶段管理不同空间细节ㄨ的能力;(3)建立了多个损失函数来描述每个尺度的信息损失;并采用递归块的参数共享策略应用于每个结构化子网络,有效←减少网络参数的数量。实验结果表明所提方法在只有5万左右网络参数量的情况下(远低于其它全色锐化方法数十万的参数量),在WorldView-3、QuickBird与高分2号卫星数据上获得了当前最优的量化指标(详见表1),消融实验结果表明,MTF卷积核→与多尺度损失函数策略的使用可充分利用图像的多尺度信息(详见表2)。在视觉效果上,该方法获得的结果较其它方法最为接近参考图像(见图4)。
表1. 在多个WorldView3数据上的结果,除去平均时间(记为 A.T.)外,LPPN在其〗余指标上都取得了最优结果。
表2. 消融实验结果,LPPN在使用MTF卷积核,参数共享策略与多损失函数时取得最优结果。
图4. 视觉实验结果。上栏表示各种全色锐化方法的局部放大示意♀图;下栏表示各种全色锐化方法的结果与参考图像的误差示意图,颜色越蓝代表结果与参考图像越接近。“LPPN”为本文◥所提方法,“GT”为参考图像。
金诚同学于2019年秋开始在邓良剑老师的指导下从事自适应卷积神经网络与Transformer的网络设计与相关算法研究。近年来,邓良剑老师作为数学科学学院黄廷祝教授“图像处理数∮学模型与高性能算法”团队骨干,已指导多名不同学院的本科生在高水平国际会议或高水平期刊发表论文。
论文地址:https://www.sciencedirect.com/science/article/pii/S1566253521001809
未经允许不得转载:二九年华大学门户 » 光电学院本科生在信息融合权威期刊Information Fusion发表论文
相关推荐
- “看中国·看三星堆”外国青年影像计划在我校启◥动
- “真空电子学”团队入选国家自然科学基金创新研究群体
- 机电学院硕士生罗仕华获IEEE亚洲工业与商业电力系统国际学术会议最佳学生⊙论文奖
- 四川省委常委、组织部部长于立军来校调研
- 以科学服务人类——纪念陈星弼院士诞辰90周年
- 学校党委理论学习中心组专题学习党的十九届五中←全会精神
- 川剧《小萝卜头》主创团队』赴重庆白公馆调研
- 格拉斯哥学院赴成都市、绵阳市重点中学开展招生宣讲活动
- 学校举行第三届“平安@ 成电卫士”座谈会暨表彰大会
- 成电学子→包揽IEEE微波理论与技术学会博士生、硕士生/本科生最高荣誉
- 自动化学院本科生■在Neurocomputing发】表研究成果
- 曾勇校长参加▽“深化新工科建设座谈会暨卓越大学联盟高校新工科教育研讨会”
- 第五届“量子力学二次革命”论坛在电子科技大︼学成功≡召开
- 物理学院2020-2021学年青年教师教学竞赛举办
- 心理健康教育项目♀之2020级新生心理健康教育中心体验行开展
- 学校召开探索建立跨学院、跨部门的交叉协同〇机制教师意见征集会
- “新时代高校精准思政高端学术论坛”在电子科▽技大学召开
- 我校学子在2021中美青年创客大赛(成都赛区)中获佳绩
- 第七届新生心理健康节举办
- 信通学院召开研究生教育改革研讨会
新闻公告
- 首届全国教材建设奖揭晓 电子科大获多项表彰 10-17
- 自动化学院开◆展“尊师重教”月主题系列活动 10-15
- 学校党委理论学习中心组举行集体学习会议 10-15
- 第六届“十佳心理委员”评选活∩动揭晓 10-14
- 信通学院举办“基层就业校友母校行”活动 10-13
高考招生
- 电子科技大学2018全日制普通本科招〇生章程 08-05
- 电子科技大学2016全日制普通本科招生章程 08-05
- 电子科技大学2017全日制普通本科招生章程 08-05
- 电子科技大学2014年全日制普通本科招生章∑程 08-05
- 电子科技大学2015年全日制普通本科招生章♀程 08-05
- 格拉斯哥学院2015招生简章 08-05
- 电子科技大学2013年全日制普通本科招生章程 08-05
- 电子科技大学2011年全日制普通本科招生章程 08-05
- 电子科技大学2012年全日制普通本科招生章程 08-05
- 电子科技大学2008年招生章程 08-05