搜索

x

留言板

姓名
邮箱
手机号码
标题
留言内容
验证码

引用本文:
Citation:

王越, 叶函函, 熊伟, 王先华, 施海亮, 李超, 程晨, 吴时超
cstr: 32037.14.aps.74.20250982

A spectral feature enhancement-driven machine learning method for cloud detection using ground-based infrared hyperspectral data

WANG Yue, YE Hanhan, XIONG Wei, WANG Xianhua, SHI Hailiang, LI Chao, CHENG Chen, WU Shichao
cstr: 32037.14.aps.74.20250982
Article Text (iFLYTEK Translation)
PDF
HTML
导出引用
  • 云是地基红外高光谱仪器探测大气的重要干扰源, 有效云检测不可或缺. 水汽干扰和高云识别精度低是云检测面临的两个关键挑战. 本文利用大气红外光谱探测仪(ASSIST)在云南丽江、西藏自治区墨脱和西藏自治区日土的观测数据, 分析了晴空和有云条件下的光谱特征差异, 并据此提出了一种光谱特征增强的机器学习云检测方法. 结合同步观测的激光雷达、气象站及全天空成像仪数据, 系统评估了该方法在不同相对湿度(RH)和不同云底高度(CBH)条件下的检测性能. 实验结果表明: 该方法与激光雷达检测结果的一致性高达97.61%. 在不同RH条件下, 该方法精度均优于使用原始光谱特征的方法, 尤其在RH > 70%时, 对晴空光谱的识别精度提升明显, 从86.01%提高至91.89%. 同样, 在不同CBH条件下, 新方法也展现出优于使用原始光谱特征方法的性能, 特别在识别3 km < CBH 5 km的中云和CBH > 5 km的高云时, 精度提升尤为明显. 当3 km < CBH 5 km时, 精度从95.45%提升至98.64%; 当CBH > 5 km时, 精度从87.5%提升至91.67%.
    Clouds exert a significant influence on infrared radiation, making cloud detection a crucial step in the application of infrared hyperspectral data. In particular, water vapor interference and the limited accuracy in high-cloud identification constitute two key challenges for ground-based infrared hyperspectral cloud detection. Traditional threshold-based cloud detection methods are difficult to adapt to different locations and dynamically changing atmospheric conditions,while machine learning methods can achieve cloud detection with higher accuracy, greater robustness, and improved automation. Building on the advantages of machine learning, observational data from the atmospheric sounder spectrometer by infrared spectral technology (ASSIST), collected at Lijiang (Yunnan), Motuo (Xizang Autonomous Region), and Ritu (Xizang Autonomous Region) in China, are used to analyze the spectral differences between sunny and cloudy conditions in this study. Based on these differences, a spectral feature enhancement-driven machine learning method for cloud detection is proposed. Finally, by incorporating synchronous observations from lidar, meteorological stations, and all-sky imagers, the proposed method is systematically evaluated under different relative humidity (RH) and cloud base height (CBH) conditions. The experimental results show that the consistency between the results obtained by the proposed method and lidar-based detection is as high as 97.61%. Under different RH conditions, the proposed method outperforms the method based on original spectral features. Notably, when ${\text{RH}} > 70{\text{%}} $, the accuracy of clear-sky spectral identification improves significantly: increasing from 86.01% to 91.89%. Similarly, under different CBH conditions, the proposed method also exhibits superior performance compared with the method in which original spectral features are used. In particular, the accuracy improvements are especially notable when identifying mid-level clouds with ${\text{3 km}} < {\text{CBH}} \leqslant 5{\text{ km}}$, as well as high-level clouds with ${\text{CBH}} > 5{\text{ km}}$. When ${\text{3 km}} < {\text{CBH}} \leqslant 5{\text{ km}}$, the accuracy increases from 95.45% to 98.64% and when ${\text{CBH}} > 5{\text{ km}}$, the accuracy improves from 87.5% to 91.67%. The proposed method significantly enhances the automation and accuracy of cloud detection, thereby providing higher-quality fundamental datasets for supporting subsequent applications such as radiative transfer simulation, remote sensing parameter retrieval, and data assimilation in numerical weather prediction (NWP) models.
      通信作者: 叶函函, yehanhan@aiofm.ac.cn ; 熊伟, frank@aiofm.ac.cn
    • 基金项目: 国家重点研发计划(批准号: 2022YFB3901804)和安徽省自然科学基金(批准号: 2408055UQ003)资助的课题.
      Corresponding author: YE Hanhan, yehanhan@aiofm.ac.cn ; XIONG Wei, frank@aiofm.ac.cn
    • Funds: Project supported by the National Key R&D Program of China (Grant No. 2022YFB3901804) and the Natural Science Foundation of Anhui Province, China (Grant No. 2408055UQ003).
    [1]

    [2]

    [3]

    [4]

    [5]

    [6]

    [7]

    [8]

    [9]

    [10]

    [11]

    [12]

    [13]

    [14]

    [15]

    [16]

    [17]

    [18]

    [19]

    [20]

    [21]

    [22]

    [23]

    [24]

    [25]

    [26]

    [27]

    [28]

    [29]

    [30]

  • 地点 晴空样本 多云样本 海拔/km 观测时间
    丽江高美古
    天文台
    3357 2826 3.23 2024.03.20—
    2024.05.04
    墨脱气象
    观测站
    1584 3641 0.76 2024.11.29—
    2024.12.19
    2025.03.15—
    2025.03.28
    日土阿里荒漠环
    境综合观测站
    4052 1543 4.23 2025.05.27—
    2025.06.15
    总计 8993 8010
    下载: 导出CSV

    编号 特征
    1 740—760 cm–1波段辐亮度的斜率
    2 740—760 cm–1波段辐亮度的截距
    3 780—920 cm–1波段辐亮度的斜率
    4 780—920 cm–1波段辐亮度的截距
    5 1000—1040 cm–1波段辐亮度斜率
    6 1000—1040 cm–1波段辐亮度截距
    7 1050—1070 cm–1波段辐亮度斜率
    8 784.6 cm–1通道辐射与781.7—782.6 cm–1
    波段平均辐射之间的比率
    9 791.8 cm–1通道辐射与789.4—790.4 cm–1
    波段平均辐射之间的比率
    10 1175 cm–1和1170 cm–1通道辐射之间的比率
    11 1187 cm–1和1184 cm–1通道辐射之间的比率
    12 1198 cm–1和1195 cm–1通道辐射之间的比率
    13 925.8524 cm–1通道辐亮度
    14 948.9987 cm–1通道辐亮度
    15 951.892 cm–1通道辐亮度
    16 962.5007 cm–1通道辐亮度
    17 925.8524 cm–1 和 925.3702 cm–1 通道辐射之间的比率
    18 948.9987 cm–1 和948.5165 cm–1通道辐射之间的比率
    19 951.892 cm–1和951.4098 cm–1通道辐射之间的比率
    20 962.5007 cm–1和962.0185 cm–1通道辐射之间的比率
    下载: 导出CSV

    数据集晴天样本数多云样本数总计
    训练集(70%)6290560411894
    测试集(30%)270324065109
    下载: 导出CSV

    激光雷达探测
    有云晴空
    云检测算法
    (ASSIST)
    有云TP
    (True positive)
    FP
    (False positive)
    晴空FN
    (False negative)
    TN
    (True negative)
    下载: 导出CSV

    特征个数PC/%TPR/%TNR/%
    195.0190.9098.67
    295.4993.8197.37
    392.8895.8490.23
    494.8596.9792.97
    595.5697.2694.04
    685.7197.1775.51
    779.4397.2263.60
    886.3697.6376.32
    976.5997.6757.82
    1076.5797.6757.79
    1178.7497.8861.71
    1281.6498.0967.00
    下载: 导出CSV

    特征个数PC/%TPR/%TNR/%
    195.3091.9898.26
    294.7394.4395.01
    394.7294.4394.97
    496.5094.7298.08
    596.2494.8097.52
    696.2096.3096.12
    796.4696.7696.19
    896.5497.0996.04
    996.5698.0995.19
    1097.6198.2197.08
    1182.6097.3869.44
    1295.1397.7692.79
    1396.8197.4296.26
    1496.8197.4296.26
    1596.5997.4295.86
    1688.8897.9680.80
    1788.4997.8880.13
    1880.8698.2165.41
    1991.4197.7685.76
    2091.4197.8085.72
    下载: 导出CSV

    不同水汽测试集
    晴空样本
    测试集
    多云样本
    总计
    ${\text{RH}} \leqslant 30{\text{%}} $188310602943(57.6%)
    $30{\text{%}} < {\text{RH}} \leqslant 50{\text{%}} $25079329(6.4%)
    $50{\text{%}} < {\text{RH}} \leqslant 70{\text{%}} $327158485(9.5%)
    ${\text{RH}} > 70{\text{%}} $24311091352(26.5%)
    下载: 导出CSV

    不同RH 方法 PC/% TPR/% TNR/% FPR/% FNR/%
    ${\text{RH}} \leqslant 30{\text{%}} $ 原始方法 94.33 94.53 94.21 5.79 5.47
    新方法 97.93 96.89 98.51 1.49 3.11
    $30{\text{%}} < {\text{RH}} \leqslant 50{\text{%}} $ 原始方法 94.53 93.67 94.80 5.20 6.33
    新方法 96.66 94.94 97.20 2.80 5.06
    $50{\text{%}} {\text{ < RH}} \leqslant 70{\text{%}} $ 原始方法 98.76 99.37 98.47 1.53 0.63
    新方法 99.58 99.40 100.00 0 0.60
    ${\text{RH}} > 70{\text{%}} $ 原始方法 97.34 99.82 86.01 13.99 0.18
    新方法 98.82 99.83 91.89 8.11 0.17
    下载: 导出CSV

    不同CBH测试集多云样本
    ${\text{CBH}} \leqslant 1{\text{ km}}$1196(49.69%)
    $1{\text{ km < CBH}} \leqslant {\text{3 km}}$494(20.52%)
    $3{\text{ km < CBH}} \leqslant 5{\text{ km}}$646(26.86%)
    ${\text{CBH}} > 5{\text{ km}}$70(2.93%)
    下载: 导出CSV

    不同CBH 方法 PC/% TPR/% FNR/%
    ${\text{CBH}} \leqslant 1{\text{ km}}$ 原始方法 98.53 98.53 1.47
    新方法 99.26 99.26 0.74
    $ 1{\text{ km}} < {\text{CBH}} \leqslant 3{\text{ km}} $ 原始方法 96.43 96.43 3.57
    新方法 97.62 97.62 2.38
    ${\text{3 km}} < {\text{CBH}} \leqslant 5{\text{ km}}$ 原始方法 95.45 95.45 4.55
    新方法 98.64 98.64 1.36
    ${\text{CBH}} > 5{\text{ km}}$ 原始方法 87.50 87.50 12.5
    新方法 91.67 91.67 8.33
    下载: 导出CSV
    Baidu
  • [1]

    [2]

    [3]

    [4]

    [5]

    [6]

    [7]

    [8]

    [9]

    [10]

    [11]

    [12]

    [13]

    [14]

    [15]

    [16]

    [17]

    [18]

    [19]

    [20]

    [21]

    [22]

    [23]

    [24]

    [25]

    [26]

    [27]

    [28]

    [29]

    [30]

  • [1] 秦成龙, 赵亮, 蒋刚. 机器学习模型预测稀土化合物的热力学稳定性. 必威体育下载 , 2025, 74(13): 130201. doi: 10.7498/aps.74.20250362
    [2] 吴阳海, 杜海龙, 薛雷, 李佳鲜, 薛淼, 郑国尧. 基于机器学习的托卡马克偏滤器靶板热负荷预测研究. 必威体育下载 , 2025, 74(13): 135205. doi: 10.7498/aps.74.20250381
    [3] 刘兆圣, 张桥, 宁勇祺, 符秀交, 邹代峰, 王俊年, 赵宇清. 基于机器学习与第一性原理计算的高居里温度Janus预测. 必威体育下载 , 2025, 74(22): 1-10. doi: 10.7498/aps.74.20251026
    [4] 郭焱, 吕恒, 丁春玲, 袁晨智, 金锐博. 分数阶涡旋光衍射过程的机器学习识别. 必威体育下载 , 2025, 74(1): 014203. doi: 10.7498/aps.74.20241458
    [5] 张童, 王加豪, 田帅, 孙旭冉, 李日. 基于机器学习的铸件凝固过程动态收缩行为. 必威体育下载 , 2025, 74(2): 028103. doi: 10.7498/aps.74.20241581
    [6] 王鹏, 麦麦提尼亚孜·麦麦提阿卜杜拉. 机器学习的量子动力学. 必威体育下载 , 2025, 74(6): 060701. doi: 10.7498/aps.74.20240999
    [7] 张桥, 谭薇, 宁勇祺, 聂国政, 蔡孟秋, 王俊年, 朱慧平, 赵宇清. 基于机器学习和第一性原理计算的Janus材料预测. 必威体育下载 , 2024, 73(23): 230201. doi: 10.7498/aps.73.20241278
    [8] 张旭, 丁进敏, 侯晨阳, 赵一鸣, 刘鸿维, 梁生. 基于机器学习的激光匀光整形方法. 必威体育下载 , 2024, 73(16): 164205. doi: 10.7498/aps.73.20240747
    [9] 张嘉晖. 蛋白质计算中的机器学习. 必威体育下载 , 2024, 73(6): 069301. doi: 10.7498/aps.73.20231618
    [10] 郭唯琛, 艾保全, 贺亮. 机器学习回归不确定性揭示自驱动活性粒子的群集相变. 必威体育下载 , 2023, 72(20): 200701. doi: 10.7498/aps.72.20230896
    [11] 刘烨, 牛赫然, 李兵兵, 马欣华, 崔树旺. 机器学习在宇宙线粒子鉴别中的应用. 必威体育下载 , 2023, 72(14): 140202. doi: 10.7498/aps.72.20230334
    [12] 管星悦, 黄恒焱, 彭华祺, 刘彦航, 李文飞, 王炜. 生物分子模拟中的机器学习方法. 必威体育下载 , 2023, 72(24): 248708. doi: 10.7498/aps.72.20231624
    [13] 张嘉伟, 姚鸿博, 张远征, 蒋伟博, 吴永辉, 张亚菊, 敖天勇, 郑海务. 通过机器学习实现基于摩擦纳米发电机的自驱动智能传感及其应用. 必威体育下载 , 2022, 71(7): 078702. doi: 10.7498/aps.71.20211632
    [14] 林键, 叶梦, 朱家纬, 李晓鹏. 机器学习辅助绝热量子算法设计. 必威体育下载 , 2021, 70(14): 140306. doi: 10.7498/aps.70.20210831
    [15] 陈江芷, 杨晨温, 任捷. 基于波动与扩散物理系统的机器学习. 必威体育下载 , 2021, 70(14): 144204. doi: 10.7498/aps.70.20210879
    [16] 孙永丰, 徐亮, 沈先春, 王钰豪, 徐寒杨, 刘文清. 干涉型红外光谱辐射计仪器线型函数仿真及校正. 必威体育下载 , 2021, 70(14): 140701. doi: 10.7498/aps.70.20210302
    [17] 孙永丰, 徐亮, 沈先春, 金岭, 徐寒杨, 成潇潇, 王钰豪, 刘文清, 刘建国. 红外光谱辐射计探测器高阶非线性响应校正方法. 必威体育下载 , 2021, 70(6): 060701. doi: 10.7498/aps.70.20201530
    [18] 张瑶, 张云波, 陈立. 基于深度学习的光学表面杂质检测. 必威体育下载 , 2021, 70(16): 168702. doi: 10.7498/aps.70.20210403
    [19] 杨自欣, 高章然, 孙晓帆, 蔡宏灵, 张凤鸣, 吴小山. 铅基钙钛矿铁电晶体高临界转变温度的机器学习研究. 必威体育下载 , 2019, 68(21): 210502. doi: 10.7498/aps.68.20190942
    [20] 顾行发, 陈兴峰, 程天海, 李正强, 余涛, 谢东海, 许华. 多角度偏振遥感相机DPC在轨偏振定标. 必威体育下载 , 2011, 60(7): 070702. doi: 10.7498/aps.60.070702
计量
  • 文章访问数:  825
  • PDF下载量:  20
  • 被引次数: 0
出版历程
  • 收稿日期:  2025-07-23
  • 修回日期:  2025-08-11
  • 上网日期:  2025-09-04
  • 刊出日期:  2025-10-20

返回文章
返回
Baidu
map