雙清一號(hào)(珞珈三號(hào)01星)多模式成像樣例數(shù)據(jù)集

王密; 楊芳; 李德仁; 潘俊; 戴榮凡

doi:10.11999/JEIT230921

雙清一號(hào)(珞珈三號(hào)01星)多模式成像樣例數(shù)據(jù)集

doi: 10.11999/JEIT230921 cstr: 32379.14.JEIT230921

王密^1, ,,
楊芳²,
李德仁¹,
潘俊¹,
戴榮凡¹

1.
武漢大學(xué)測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室武漢 430079
2.
航天東方紅衛(wèi)星有限公司北京 100094

基金項(xiàng)目: 國(guó)家自然科學(xué)基金(91738302, 61825103)

詳細(xì)信息

作者簡(jiǎn)介:
王密：男，博士，教授，研究方向?yàn)楦叻直媛市l(wèi)星遙感影像在軌處理與實(shí)時(shí)智能服務(wù)的理論和方法

楊芳：女，博士，研究員，研究方向?yàn)樾l(wèi)星總體設(shè)計(jì)

李德仁：男，博士，教授，中國(guó)科學(xué)院院士，中國(guó)工程院院士，研究方向?yàn)榈厍蚩臻g信息學(xué)理論與方法

潘?。耗?，博士，研究員，研究方向?yàn)檫b感影像質(zhì)量改善與智能處理

戴榮凡：男，博士生，研究方向?yàn)楣鈱W(xué)遙感數(shù)據(jù)高精度處理

通訊作者:
王密　wangmi@whu.edu.cn

中圖分類號(hào): TN911.73; TP7
計(jì)量
- 文章訪問(wèn)數(shù): 926
- HTML全文瀏覽量: 611
- PDF下載量: 154
- 被引次數(shù): 0
出版歷程
- 收稿日期: 2023-08-23
- 修回日期: 2023-09-05
- 網(wǎng)絡(luò)出版日期: 2023-09-07
- 刊出日期: 2024-06-30

ShuangQing-1 (Luojia3-01) Multimode Imaging Sample Dataset

WANG Mi^{1
, ,},
YANG Fang²,
LI Deren¹,
PAN Jun¹,
DAI Rongfan¹

1.
State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University, Wuhan 430079, China
2.
DFH Satellite Co., Ltd., Beijing100094, China

Funds: The National Natural Science Foundation of China (91738302, 61825103)

摘要

摘要: 針對(duì)當(dāng)前多數(shù)高分辨遙感衛(wèi)星面向用戶服務(wù)存在獲取數(shù)據(jù)種類單一問(wèn)題，該文公開(kāi)了雙清一號(hào)(珞珈三號(hào)01星)多模式成像樣例數(shù)據(jù)集，涵蓋了面陣推掃、面陣推幀和視頻凝視等多種成像模式，包含城市、水體、山區(qū)、機(jī)場(chǎng)等不同目標(biāo)區(qū)域的典型數(shù)據(jù)樣本。該數(shù)據(jù)集由信號(hào)數(shù)據(jù)解碼、Bayer插值、相對(duì)輻射校正、幾何定位、視頻穩(wěn)像和3維重建等步驟處理構(gòu)建；同時(shí)，對(duì)在軌定標(biāo)、興趣區(qū)產(chǎn)品快速生產(chǎn)、高清視頻幾何穩(wěn)像和多角度3維重建等關(guān)鍵算法做了深入探討和研究。最后，對(duì)樣本數(shù)據(jù)集從圖像標(biāo)準(zhǔn)產(chǎn)品、凝視視頻產(chǎn)品和實(shí)景3維產(chǎn)品等3個(gè)方面進(jìn)行了可視化展示和定量化精度評(píng)價(jià)。
- 雙清一號(hào) /
- 多模式成像 /
- 視頻穩(wěn)像 /
- 3維重建
Abstract: Herein, the Shuangqing-1(Luojia3-01) multimode imaging sample dataset is presented to address the problem of limited data types provided for user services by remote sensing satellites with the highest resolution. This dataset includes various imaging modes, such as push-scan, array push-frame, and video staring; hence, it covers typical data samples from different target areas ,such as urban regions, water bodies, mountainous regions, and airports. The construction of this dataset involves signal data decoding, Bayer interpolation, relative radiometric correction, geometric positioning, video stabilization, and three-dimensional reconstruction. Additionally, in-depth discussions and investigations are conducted on key algorithms, such as on-orbit calibration, rapid production of area of interest products, high-definition video geometric stabilization, and multi-angle three-dimensional reconstruction. Finally, the sample dataset is visually displayed and quantitatively evaluated from three aspects: image standard, video staring, and real-world three-dimensional products.
- ShuangQing-1 /
- Multi-mode imaging /
- Staring imaging video /
- Three-dimensional reconstruction

HTML全文

圖 1 凝視視頻成像模式

下載: 全尺寸圖片幻燈片

圖 2 面陣推幀成像模式

下載: 全尺寸圖片幻燈片

圖 3 面陣推掃成像模式

下載: 全尺寸圖片幻燈片

圖 4 多模式成像樣例數(shù)據(jù)集生成流程

下載: 全尺寸圖片幻燈片

圖 5 在軌相對(duì)輻射定標(biāo)技術(shù)路線

下載: 全尺寸圖片幻燈片

圖 6 基于探元指向角模型的在軌幾何定標(biāo)流程

下載: 全尺寸圖片幻燈片

圖 7 帶有地理編碼的衛(wèi)星視頻物方穩(wěn)像流程

下載: 全尺寸圖片幻燈片

圖 8 Bayer插值前后影像對(duì)比

下載: 全尺寸圖片幻燈片

圖 9 相對(duì)輻射校正前后影像對(duì)比(意大利比納斯科)

下載: 全尺寸圖片幻燈片

圖 10 傳感器校正結(jié)果(意大利比納斯科)

下載: 全尺寸圖片幻燈片

圖 11 視頻穩(wěn)像產(chǎn)品示意圖(上海市黃浦江)

注：該圖為視頻穩(wěn)像產(chǎn)品每隔8 s抽取的單幀影像

下載: 全尺寸圖片幻燈片

圖 12 穩(wěn)像前后的衛(wèi)星視頻幀間幾何精度

下載: 全尺寸圖片幻燈片

圖 13 多角度3維立體重建(土耳其哈塔伊地區(qū))

下載: 全尺寸圖片幻燈片

表 1 雙清一號(hào)數(shù)據(jù)技術(shù)指標(biāo)

參數(shù)	指標(biāo)數(shù)值
成像模式	視頻凝視/面陣推幀/面陣推掃
空間分辨率	0.7 m@500 km
地面幅寬	雙CMOS優(yōu)于10 km
視頻幀頻	2～12 Hz
圖像格式	Bayer彩色圖像
量化位數(shù)	8 bit/12 bit
幾何定位精度	優(yōu)于30 m
相對(duì)輻射精度	優(yōu)于3%

下載: 導(dǎo)出CSV

1 傳感器校正算法

輸入：分片影像、成像時(shí)間、姿軌數(shù)據(jù)、地球自轉(zhuǎn)參數(shù)、高程　dem等
輸出：有理函數(shù)模型RFM和虛擬大影像
1 分別構(gòu)建單片原始影像和待校正虛擬影像的嚴(yán)格幾何成像模　型：　$\left[ \begin{gathered} X \\ Y \\ Z \\ \end{gathered} \right] = \dfrac{1}{\lambda } \cdot R_{ {\rm{J2000} } }^{ {\rm{WGS84} } }(t)R_{ {\rm{body} } }^{ {\rm{J2000} } }(t)R_{ {\rm{senor} } }^{ {\rm{body} } }\left[ \begin{gathered} x + {x_0} + \Delta x \\ y + {y_0} + \Delta y \\ f \\ \end{gathered} \right] + \left[ \begin{gathered} {X_{ {\rm{GPS} } } }(t) \\ {Y_{ {\rm{GPS} } } }(t) \\ {Z_{ {\rm{GPS} } } }(t) \\ \end{gathered} \right]$
2 建立分片原始影像與待校正虛擬影像的坐標(biāo)映射關(guān)系；
${(s,l)}_{ {\rm{ori} } }\iff {(x,y)}_{{\rm{vir}}},其中{(s,l)}_{ {\rm{ori} } }\Rightarrow (B,L,H)\Rightarrow {(x,y)}_{ {\rm{dst} } }$
3 影像重采樣(CUDA并行)
3.1 對(duì)單片原始影像進(jìn)行格網(wǎng)劃分，每個(gè)格網(wǎng)(grid)包含　　$(w \times h)$個(gè)像素
3.2 設(shè)定CUDA線程參數(shù)，包括：
(a) 每個(gè)CUDA格網(wǎng)(grid)中的塊(block)數(shù)目：$({B_x},{B_y})$ ;
(b) 每個(gè)CUDA塊(block)中的線程(thread)數(shù)目：$({T_x},{Y_y})$;
(c) 每個(gè)CUDA線程(thread)中處理的像素?cái)?shù)目:$({P_x},{P_y})$
確保$({B_x} \times {T_x} \times {P_x},{B_y} \times {T_y} \times {P_y}) \ge (w \times h)$
3.3 每個(gè)格網(wǎng)(grid)中的$ ({B_x} \times {T_x},{B_y} \times {T_y}) $個(gè)線程(thread) 　并行執(zhí)行：
	每個(gè)線程處理$({P_x},{P_y})$個(gè)像素
	每個(gè)像素
		(a) 計(jì)算虛擬影像像點(diǎn)$ {(x,y)_{{\rm{vir}}}} $所對(duì)應(yīng)單片原始影像像　　點(diǎn)坐標(biāo)${(s,l)_{{\rm{ori}}}}$;
		(b) 分別計(jì)算像點(diǎn)${(s,l)_{{\rm{ori}}} }$鄰域像素的灰度值；
		(c) 利用多項(xiàng)式重采樣方法，計(jì)算出${(s,l)_{{\rm{ori}}} }$灰度值.
	像素循環(huán)結(jié)束
影像格網(wǎng)循環(huán)結(jié)束

下載: 導(dǎo)出CSV

參考文獻(xiàn)(13)

[1]	TOTH C and Jó?KóW G. Remote sensing platforms and sensors: A survey[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 115: 22–36. doi: 10.1016/j.isprsjprs.2015.10.004.
[2]	GRESLOU D, DE LUSSY F, DELVIT J M, et al. PLEIADES-HR innovative techniques for geometric image quality commissioning[C]. The 22nd ISPRS Congress International Archives of the Photogrammetry Remote Sensing and Spatial Information Sciences, Melbourne, Australia, 2012.
[3]	唐新明, 王鴻燕. 我國(guó)民用光學(xué)衛(wèi)星測(cè)繪產(chǎn)品體系的建立與應(yīng)用[J]. 測(cè)繪學(xué)報(bào), 2022, 51(7): 1386–1397. doi: 10.11947/j.AGCS.2022.20220181. TANG Xinming and WANG Hongyan. Establishment and application of China civil optical satellite surveying and mapping products[J]. Acta Geodaetica et Cartographica Sinica, 2022, 51(7): 1386–1397. doi: 10.11947/j.AGCS.2022.20220181.
[4]	PI Yingdong, YANG Bo, LI Xin, et al. Robust correction of relative geometric errors among GaoFen-7 regional stereo images based on posteriori compensation[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2022, 15: 3224–3234. doi: 10.1109/JSTARS.2022.3169474.
[5]	徐文迪, 王悅悅, 楊燕景, 等. 基于北京三號(hào)衛(wèi)星數(shù)據(jù)實(shí)景三維建模及應(yīng)用[J]. 衛(wèi)星應(yīng)用, 2022(12): 40–46. doi: 10.3969/j.issn.1674-9030.2022.12.008. XU Wendi, WANG Yueyue, YANG Yanjing, et al. 3D modeling and application based on Beijing 3 Satellite data[J]. Satellite Application, 2022(12): 40–46. doi: 10.3969/j.issn.1674-9030.2022.12.008.
[6]	LI Deren, WANG Mi, YANG Fang, et al. Internet intelligent remote sensing scientific experimental satellite LuoJia3–01[J]. Geo-spatial Information Science, 2023: 1–5.
[7]	李德仁, 王密, 楊芳. 新一代智能測(cè)繪遙感科學(xué)試驗(yàn)衛(wèi)星珞珈三號(hào)01星[J]. 測(cè)繪學(xué)報(bào), 2022, 51(6): 789–796. doi: 10.11947/j.AGCS.2022.20220184. LI Deren, WANG Mi, and YANG Fang. A new generation of intelligent mapping and remote sensing scientific test satellite Luojia–301[J]. Acta Geodaetica et Cartographica Sinica, 2022, 51(6): 789–796. doi: 10.11947/j.AGCS.2022.20220184.
[8]	王密, 郭貝貝, 龍小祥, 等. 高分六號(hào)寬幅相機(jī)在軌幾何定標(biāo)及精度驗(yàn)證[J]. 測(cè)繪學(xué)報(bào), 2020, 49(2): 171–180. doi: 10.11947/j.AGCS.2020.20190265. WANG Mi, GUO Beibei, LONG Xiaoxiang, et al. On-orbit geometric calibration and accuracy verification of GF-6 WFV camera[J]. Acta Geodaetica et Cartographica Sinica, 2020, 49(2): 171–180. doi: 10.11947/j.AGCS.2020.20190265.
[9]	楊博. 光學(xué)線陣推掃式衛(wèi)星影像在軌幾何定標(biāo)理論與方法研究[D]. [博士論文], 武漢大學(xué), 2014. YANG Bo. Research on theory and method of in-orbit geometric calibration of optical linear array push-sweep satellite image[D]. [Ph. D. dissertation], Wuhan University, 2014.
[10]	PI Yingdong, WANG Mi, YANG Bo, et al. Robust camera distortion calibration via unified RPC model for optical remote sensing satellites[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5627815. doi: 10.1109/TGRS.2022.3198076.
[11]	ZHANG Zhiqi, QU Zhuo, LIU Siyuan, et al. Expandable on-board real-time edge computing architecture for Luojia3 intelligent remote sensing satellite[J]. Remote Sensing, 2022, 14(15): 3596. doi: 10.3390/rs14153596.
[12]	周楠, 曹金山, 肖蕾, 等. 帶有地理編碼的光學(xué)視頻衛(wèi)星物方穩(wěn)像方法[J]. 武漢大學(xué)學(xué)報(bào):信息科學(xué)版, 2023, 48(2): 308–315. doi: 10.13203/j.whugis20200306. ZHOU Nan, CAO Jinshan, XIAO Lei, et al. A geo-coded stabilization approach for optical video satellites in object space[J]. Geomatics and Information Science of Wuhan University, 2023, 48(2): 308–315. doi: 10.13203/j.whugis20200306.
[13]	付正文, 楊沖, 黃先鋒, 等. 一種最小生成樹(shù)的自動(dòng)紋理映射方法[J]. 測(cè)繪科學(xué), 2016, 41(7): 144–149. doi: 10.16251/j.cnki.1009-2307.2016.07.026. FU Zhengwen, YANG Chong, HUANG Xianfeng, et al. Automatic texture mapping method based on minimum spanning tree[J]. Science of Surveying and Mapping, 2016, 41(7): 144–149. doi: 10.16251/j.cnki.1009-2307.2016.07.026.