""" 大探标准格式解析代码 """ import gc import numpy as np import struct __all__ = ['get_radar_data'] def get_radar_data_new(f): """ :param filename: :return: dbz, vel, w, zdr, cc, dp, kdp, el_n, azm, el """ f.seek(0, 2) block_length_all = f.tell() f.seek(0) GENERIC_HEADER = { # noqa # 共32bit，保留字节16bit "Magic_Number": struct.unpack('I', f.read(4)), # 魔术字 - --固定标志，用来指示雷达数据文件 # "Major_Version": struct.unpack('h', f.read(2)), # 主版本号 # "Minor_Version": struct.unpack('h', f.read(2)), # 次版本号 "Major_Version": struct.unpack('H', f.read(2)), # 主版本号 "Minor_Version": struct.unpack('H', f.read(2)), # 次版本号 "Generic_Type": struct.unpack('I', f.read(4)), # 文件类型 - --1–基数据文件；2–气象产品文件；3 - --体扫配置文件；4 - --保留；5 - --体扫调度配置文件；6 - --雷达状态数据文件 "Product_Type": struct.unpack('I', f.read(4)), # 产品类型 - --仅在文件类型为2时生效 # 保留字节16bit "Reserved": f.read(16) } # f.seek(32) SITE_CONFIG = { # 共128bit，保留字节46bit "Site_Code": struct.unpack("8s", f.read(8))[0], # 站号 - --站号具有唯一性，用来区别不同的雷达站，如Z9010 "Site_Name": struct.unpack("32s", f.read(32))[0], # 站点名称 - --站点名称，如BeiJing "Latitude": struct.unpack('f', f.read(4))[0], # 纬度 - --雷达站天线所在位置纬度 "Longitude": struct.unpack('f', f.read(4))[0], # 经度 - --雷达站天线所在位置经度 "Antenna_Height": struct.unpack('I', f.read(4))[0], # 天线高度 - --天线馈源水平时海拔高度 "Ground_Height": struct.unpack('I', f.read(4)), # 地面高度 - --雷达塔楼地面海拔高度 "Frequency": struct.unpack('f', f.read(4)), # 工作频率 # TODO gyj modify # "Beam_Width_Hori": struct.unpack('f', f.read(4)), # 水平波束宽度 # "Beam_Width_Vert": struct.unpack('f', f.read(4)), # 垂直波束宽度 "Antenna_Type": struct.unpack('I', f.read(4)), # 天线类型 "TR_Number": struct.unpack('I', f.read(4)), # 收发单元数量 "RDA_Version": struct.unpack('I', f.read(4)), # RDA版本号 - --雷达数据采集软件版本号 # TODO gyj modify # 't':struct.unpack('h', f.read(2))[0], "Radar_Type": {1: "SA", 2: "SB", 3: "SC", 4: "SAD", 7:'SPAR',8:'SPARD', 33: "CA", 34: "CB", 35: "CC", 36: "CCJ", 37: "CD", 38: "CAD", 43:'CPAR',44:'CPARD', 65: "XA", 66: "XAD",69:'XPAR',70:'XPARD'}.get(struct.unpack('h', f.read(2))[0]), # 雷达类型 - --1–SA；2–SB；3–SC；4–SAD；33–CA；34–CB；35–CC；36–CCJ；37–CD；38–CAD；65–XA；66–XAD # 7–SPAR 8–SPARD 43–CPAR 44–CPARD 69–XPAR 70–XPARD # "Antenna_Gain": struct.unpack('h', f.read(2)), # 天线增益 - --编码为实际100倍 # "Transmitting_feeder_loss": struct.unpack('h', f.read(2)), # 发射馈线损耗 - --编码为实际损耗100倍 # "Receiving_feeder_loss": struct.unpack('h', f.read(2)), # 接收馈线损耗 - --编码为实际损耗100倍 # "Other_Loss": struct.unpack('h', f.read(2)), # 其他损耗 - --编码为实际损耗100倍 # 保留字节46bit "Reserved": f.read(54) } # f.seek(160) TASK_CONFIG = { # 共256bit，保留字节40bit "Task_Name": struct.unpack("32s", f.read(32)), # 任务名称 - --任务名称，如VCP21 "Task_Description": struct.unpack("128s", f.read(128)), # 任务描述 "Polarization_Type": struct.unpack('I', f.read(4))[0], # 极化方式 - --1 – 水平极化；2 – 垂直极化；3 – 水平 / 垂直同时；4 – 水平 / 垂直交替 "Scan_Type": struct.unpack('I', f.read(4) ), # 扫描任务类型 - --0 – 体扫；1–单层PPI；2 – 单层RHI；3 – 单层扇扫；4 – 扇体扫；5 – 多层RHI；6 – 手工扫描 # "Pulse_Width": struct.unpack('I', f.read(4) # ), # 脉冲宽度 - --发射脉冲宽度 # "Scan_Start_Time": struct.unpack('I', f.read(4) # ), # 扫描开始时间 - --扫描开始时间为UTC标准时间计数, 1970年1月1日0时为起始计数基准点 #TODO gyj modify 'Scan_Beam_Number':struct.unpack('I', f.read(4)), #扫描配置中的发射波束数量 "Cut_Number": struct.unpack('I', f.read(4) ), # 扫描层数 - --根据扫描任务类型确定的扫描层数,与基数据保存的层数一致 "Ray_Order": struct.unpack('I', f.read(4)), #径向数据排序,0 – 按径向采集时间排序，1 – 按先方位后俯仰方式排序 "Scan_Start_Time": struct.unpack('q', f.read(8) ), # 扫描开始时间 s - --扫描开始时间为UTC标准时间计数, 1970年1月1日0时为起始计数基准点 # "Horizontal_Noise": struct.unpack('f', f.read(4) # ), # 水平通道噪声 - --水平通道的噪声电平 # "Vertical_Noise": struct.unpack('f', f.read(4) # ), # 垂直通道噪声 - --垂直通道的噪声电平 # "Horizontal_Calibration": struct.unpack('f', f.read(4) # ), # 水平通道标定值 - --水平通道的反射率标定常数 # "Vertical_Calibration": struct.unpack('f', f.read(4) # ), # 水平通道噪声温度 - --垂直通道的反射率标定常数 # "Horizontal_Noise_Temperature": struct.unpack('f', f.read(4) # ), # 水平通道噪声温度 # "Vertical_Noise_Temperature": struct.unpack('f', f.read(4) # ), # 垂直通道噪声温度 # "ZDR_Calibration": struct.unpack('f', f.read(4) # ), # ZDR标定偏差 # "PHIDP_Calibration": struct.unpack('f', f.read(4) # ), # 差分相移标定偏差 # "LDR_Calibration": struct.unpack('f', f.read(4) # ), # 系统LDR标定偏差 "Reserved": f.read(68) # 保留字节68bit } # CUT_CONFIG = { # 每个仰角共256bit，保留72bit # } # print(np.frombuffer(f.read(128),'S128')[0].decode('Windows-1252').encode("utf-8")) cut_number = TASK_CONFIG.get("Cut_Number")[0] # 扫描层数 Scan_Beam_Number = TASK_CONFIG.get("Scan_Beam_Number")[0] #扫描配置中的发射波束数量 # print(cut_number) SCAN_CONFIG = {} for i in range(1, Scan_Beam_Number + 1): # f.seek(416) # 扫描波束配置块（一个） SCAN_CONFIG[i] = { 'BEAM_INDEX': struct.unpack('I', f.read(4)), # 按扫描波束依次编号，一个体扫可由多个扫描波束组成，一个扫描波束可输出多个扫描仰角数据 'BEAM_TYPE': struct.unpack('I', f.read(4)), # 扫描波束类型 1 – 宽波束 2 – 窄波束 'SubPulse_Number': struct.unpack('I', f.read(4)), # 子脉冲数量,主工作脉冲和补盲子脉冲数量总和，以下按作用距离由远及近排列1～4 'Tx_Beam_Direction': struct.unpack('f', f.read(4)), # 发射波束中心指向,发射波束中心的俯仰角指向-2.00～90.00 'Tx_Beam_Width-H': struct.unpack('f', f.read(4)), # 发射波束水平宽度 'Tx_Beam_Width-V': struct.unpack('f', f.read(4)), # 发射波束垂直宽度 'Tx_Beam_Gain': struct.unpack('f', f.read(4)), # 发射波束中心增益 'Reserved': f.read(100) # 保留字节100bit } # cut_number = SCAN_CONFIG['0'].get("SubPulse_Number")[0] # cut_number = 4 # print('cut_number: ',cut_number) # 子脉冲参数块（4个） for j in range(1, 5): SCAN_CONFIG[i]['%d' % j] = { # 共128bit，保留70bit 'SubPulse_Strategy': struct.unpack('I', f.read(4)), # 子脉冲策略 0=频分 1=时分 'SubPulse_Modulation': struct.unpack('I', f.read(4)), # 子脉冲调制方式 0=单载频 1=线性正调频ULFM 2=线性负调频DLFM 3=非线性正调频UNLFM 4=非线性负调频DNLFM 'SubPulse_Frequency': struct.unpack('f', f.read(4)), # 子脉冲频率,点频脉冲指工作频率,调频脉冲指中心频率, 1.00～999,000.00 'SubPulse_BandWidth': struct.unpack('f', f.read(4)), # 子脉冲带宽,对调频模式有效，表示双边带宽, MHz兆赫 1.00～99.00 'SubPulse_Width': struct.unpack('I', f.read(4)), # 子脉冲宽度,单位为纳秒ns,信号脉冲宽度（时长） 'Horizontal_Noise': struct.unpack('f', f.read(4)), # 水平通道噪声,dBm分贝毫瓦,水平通道的噪声电平-100.00～0.00 'Vertical_Noise': struct.unpack('f', f.read(4)), # 垂直通道噪声,dBm分贝毫瓦,垂直通道的噪声电平-100.00～0.00 'Horizontal_Calibration': struct.unpack('f', f.read(4)), # 水平通道标定偏差,dB分贝,水平通道的标定偏差0.00～200.00 'Vertical_Calibration': struct.unpack('f', f.read(4)), # 垂直通道标定偏差,dB分贝,垂直通道的标定偏差0.00～200.00 'Horizontal_Noise_Temperature': struct.unpack('f', f.read(4)), # 水平通道噪声温度,单位为K开氏温标,水平通道的噪声温度0.00～800.00 'Vertical_Noise_Temperature': struct.unpack('f', f.read(4)), # 垂直通道噪声温度,单位为K开氏温标,垂直通道的噪声温度0.00～800.00 'ZDR_Calibration': struct.unpack('f', f.read(4)), # ZDR标定偏差,dB分贝,水平通道的标定偏差 -10.00～10.00 'PHIDP_Calibration': struct.unpack('f', f.read(4)), # PHIDP标定偏差,度,水平通道的标定偏差 -180.00～180.00 'LDR_Calibration': struct.unpack('f', f.read(4)), # LDR标定偏差,dB分贝,水平通道的标定偏差 -60～0 'Pulse_Points': struct.unpack('h', f.read(2)), # 脉冲距离库数, 0~10000,该子脉冲探测的距离库数 'Reserved': f.read(70), # 保留字节70bit } # # # ========== 接收仰角配置块 ======== BEAM_CONFIG = {} for i in range(1, cut_number + 1): BEAM_CONFIG['%d' %i] = { 'Cut_Index': struct.unpack('h', f.read(2)), #扫描层索引, 1～256, 基数据仰角编号 'Tx_Beam_Index': struct.unpack('h', f.read(2)), # 发射波束索引, 1～256, 对应的发射波束索引 'Rx_Beam_Elevation': struct.unpack('f', f.read(4)), #接收波束指向,度, -2.00～90.00, PPI模式的俯仰角 'Tx_Beam_Gain': struct.unpack('f', f.read(4)), #发射波束增益,,dB分贝, 在本接收方向上，发射波束的增益 'Rx_Beam_Width_H': struct.unpack('f', f.read(4)), #接收波束水平宽度, 度 'Rx_Beam_Width_V': struct.unpack('f', f.read(4)), #接收波束垂直宽度, 度 'Rx_Beam_Gain': struct.unpack('f', f.read(4)), #接收波束垂直宽度, dB分贝, "Process_Mode": {1: "PPP", 2: "FFT"}.get(struct.unpack('I', f.read(4))[0]), # 处理模式---1---PPP；2---FFT "Wave_Form": {0: "CS连续监测", 1: "CD连续多普勒", 2: "CDX多普勒扩展", 3: "Rx Test", 4: "BATCH批模式", 5: "Dual PRF双PRF", 6: "Staggered PRT 参差PRT"}.get(struct.unpack('I', f.read(4))[0]), # 波形类别---0 – CS连续监测；1 – CD连续多普勒；2 – CDX多普勒扩展；3 – Rx Test；4 – BATC H批模式；5 – Dual PRF双PRF ；6---Staggered PRT 参差PRT "N1PRF1": struct.unpack('f', f.read(4) ), # 第一组脉冲重复频率1---单位赫兹Hz---对于Batch、双PRF和参差PRT模式，表示高PRF值。对于其它单PRF模式，表示唯一的PRF值。 "N1PRF2": struct.unpack('f', f.read(4) ), # 第一组脉冲重复频率2---单位赫兹Hz---对Batch、双PRF和参差PRT模式，表示低PRF值。对其它单PRF模式，无效。 "N2PRF1": struct.unpack('f', f.read(4) ), # 第二组脉冲重复频率1---单位赫兹Hz---对于Batch、双PRF和参差PRT模式，表示高PRF值。对于其它单PRF模式，表示唯一的PRF值。 "N2PRF2": struct.unpack('f', f.read(4) ), # 第二组脉冲重复频率2---单位赫兹Hz---对Batch、双PRF和参差PRT模式，表示低PRF值。对其它单PRF模式，无效。 "Dealiasing_Mode": struct.unpack('I', f.read(4)), # 速度退模糊方法---1 – 单PRF；2 –双PRF3:2模式；3 –双PRF4:3模式；4 –双PRF 5:4模式 "Azimuth": struct.unpack('f', f.read(4)), # 方位角---RHI模式的方位角, 度，0.00～360.00, PPI模式的俯仰角同参数接收波 # "Elevation": struct.unpack('f', f.read(4)), # 俯仰角---PPI模式的俯仰角 "Start_Angle": struct.unpack('f', f.read(4)), # 起始角度----度，-10.00～360.00---PPI扇扫的起始方位角，或RHI模式的高限仰角 "End_Angle": struct.unpack('f', f.read(4)), # 结束角度---度，-10.00～360.00---PPI扇扫的结束方位角，或RHI模式的低限仰角 "Angular_Resolution": struct.unpack('f', f.read(4)), # 角度分辨率--度，---径向数据的角度分辨率，仅用于PPI扫描模式 "Scan_Speed": struct.unpack('f', f.read(4)), # 扫描速度---度/秒---0.00～100.00---PPI扫描的方位转速，或RHI扫描的俯仰转速 "Log_Resolution": struct.unpack('f', f.read(4)), # 强度分辨率---米---1～5,000---强度数据的距离分辨率，支持浮点分辨率 "Doppler_Resolution": struct.unpack('f', f.read(4)), # 多普勒分辨率---米---1～5,000---多普勒数据的距离分辨率 "Maximum_Range1": struct.unpack('I', f.read(4)), # 最大距离1---米---1～500,000---对应脉冲重复频率1的最大可探测距离 "Maximum_Range2": struct.unpack('I', f.read(4)), # 最大距离2---米---1～500,000---对应脉冲重复频率2的最大可探测距离 "Start_Range": struct.unpack('I', f.read(4)), # 起始距离---米---1～500,000---数据探测起始距离 "Sample1": struct.unpack('I', f.read(4)), # 采样个数1---2～512---对应于脉冲重复频率1的采样个数 "Sample2": struct.unpack('I', f.read(4)), # 采样个数2---2～512---对应于脉冲重复频率2的采样个数 "Phase_Mode": struct.unpack('I', f.read(4)), # 相位编码模式---1 – 固定相位;2 – 随机相位;3 – SZ编码 "Atmospheric_Loss": struct.unpack('f', f.read(4)), # 大气衰减---分贝/千米--0.000000～10.000000---双程大气衰减值，精度为小数点后保留6位 "Nyquist_Speed": struct.unpack('f', f.read(4)), # 最大不模糊速度---米/秒---0～100---理论最大不模糊速度 "Moments_Mask": struct.unpack("q", f.read(8)), # 数据类型掩码---0～0xFFFFFFFFFFFFFFFF---以掩码的形式表示当前允许获取的数据类型，其中：0–不允许获取数据;1 –允许获取数据。(json1) "Moments_Size_Mask": struct.unpack("q", f.read(8)),# 数据大小掩码---0～0xFFFFFFFFFFFFFFFF---以掩码形式表示每种数据类型字节数，其中：0–1个字节;1 – 2个字节(json1) "Misc_Filter_Mask": struct.unpack('I', f.read(4)), # 滤波设置掩码--0～0xFFFFFFFF---0–未应用;1–应用(json2) "SQI_Threshold": struct.unpack('f', f.read(4)), # SQI门限---0.00～1.00---- "SIG_Threshold": struct.unpack('f', f.read(4)), # SIG门限--dB分贝---0.00～20.00 "CSR_Threshold": struct.unpack('f', f.read(4)), # CSR门限--dB分贝--0.00～100.00 "LOG_Threshold": struct.unpack('f', f.read(4)), # LOG门限--dB分贝--0.00～20.00 "CPA_Threshold": struct.unpack('f', f.read(4)), # CPA门限--0.00～100.00-- "PMI_Threshold": struct.unpack('f', f.read(4)), # PMI门限--0.00～1.00 "DPLOG_Threshold": struct.unpack('f', f.read(4)), # DPLOG门限--0.00～100.00 "Thresholds_r": struct.unpack('4s', f.read(4)), #阈值门限保留---水平通道的反射率标定常数 =======保留字段====== # 这个时保留字段 "Thresholds_r":data.slice(548,552),#阈值门限保留---水平通道的反射率标定常数 "dBT_Mask": struct.unpack('I', f.read(4)), # dBT质控掩码---0～0xFFFFFFFF---dBT数据使用的质控门限掩码，其中：0–未应用,1–应用(json3) "dBZ_Mask": struct.unpack('I', f.read(4)), # dBZ质控掩码---dBZ数据使用的质控门限掩码, 其中：0–未应用,1–应用(json3) "Velocity_Mask": struct.unpack('I', f.read(4)), # 速度质控掩码----0～0xFFFFFFFF---速度数据使用的质控门限掩码, 其中：0–未应用,1–应用(json3) "Spectrum_Width_Mask": struct.unpack('I', f.read(4)), # 谱宽质控掩码----0～0xFFFFFFFF--谱宽数据使用的质控门限掩码,其中：0–未应用,1–应用(json3) "DP_Mask": struct.unpack('I', f.read(4)), # 偏振量质控掩码----0～0xFFFFFFFF--偏振量数据使用的质控门限掩码,其中：0–未应用,1–应用(json3) "Mask_Reserved": f.read(12), # 保留字节12bit 'Reserved': f.read(4), # 保留字节4bit # 保留12bit # "Scan_Sync": struct.unpack('I', f.read(4)), # 扫描同步标志---用于多部雷达同步扫描标识 "Direction": struct.unpack('I', f.read(4)), # 天线运行方向---仅对PPI模式有效1 – 顺时针;2 – 逆时针 "Ground_Clutter_Classifier_Type": struct.unpack('h', f.read(2)), # 地物杂波图类型---1 – 所有数据不滤波;2 – 全程滤波;3 – 使用实时动态滤波图;4 – 使用静态滤波图 "Ground_Clutter_Filter_Type": struct.unpack('h', f.read(2)), # 地物滤波类型---0 –不滤波;1 – 频域自适应滤波;2 - 固定宽带频域滤波器;3 - 可变宽带频域滤波器;4 - 可变最小方差频域滤波器;5 – IIR时域滤波 "Ground_Clutter_Filter_Notch_Width": struct.unpack('h', f.read(2)), # 地物滤波宽度--0.1 米/秒--0.1～10.0 "Ground_Clutter_Filter_Window": struct.unpack('h', f.read(2)), # 滤波窗口类型---滤波算法FFT窗口类型;0 – 矩形窗;1 – 汉明窗;2 – Blackman窗;3 – 自适应窗口;4 – 无 "Reserved": f.read(44), # 保留字节44bit } #TODO # radar_range = np.arange(BEAM_CONFIG['1']['Sample1'][0]) * BEAM_CONFIG['1']['Log_Resolution'][0] data_block = f.tell() # print(data_block) # return data_shape = {} # for J in range(radial_number): RadialData = { # 径向头，共128字节 保留13 字节 "Radial_State": struct.unpack('I', f.read(4)), # 径向数据状态 - --0–仰角开始；1–中间数据；2–仰角结束；3–体扫开始；4–体扫结束；5–RHI开始；6–RHI结束 "Spot_Blank": struct.unpack('I', f.read(4)), # 消隐标志 - --0–正常；1–消隐 "Sequence_Number": struct.unpack('I', f.read(4)), # 序号 - 1～65536--每个体扫径向从1计数 "Radial_Number": struct.unpack('I', f.read(4)), # 径向数 - 1～1000--每个扫描从1计数 "Elevation_Number": struct.unpack('I', f.read(4)), # 仰角编号 - --仰角编号，每个体扫从1计数 "Azimuth": struct.unpack('f', f.read(4)), # 方位角 ---度 0.00～360.00 --扫描的方位角度 "Elevation": struct.unpack('f', f.read(4)), # 仰角 ---度 -2.00～90.00--扫描的俯仰角度 "Seconds": struct.unpack('q', f.read(8)), # 秒 - --径向数据采集的时间，UTC计数的秒数, 从1970年1月1日0时开始计数 "Microseconds": struct.unpack('I', f.read(4)), # 微秒 - --径向数据采集的时间除去UTC秒数后，留下的微秒数 "Length_of_data": struct.unpack('I', f.read(4)), # 数据长度 --1～100000 --仅本径向数据块所占用的长度如有压缩，长度为压缩后数据长度 "Moment_Number": struct.unpack('I', f.read(4)), # 数据类别数量 ---1～64 --径向数据类别（如Z，V，W等各占一种）的数量 "Scan Beam Index": struct.unpack('h', f.read(2)), # 波束编号 ---1-32 --波束编号 "Horizontal_Estimated_Noise": struct.unpack('h', f.read(2)), # 径向的水平估计噪声 --dB分贝 --编码为实际噪声的 - 100倍 "Vertical_Estimated_Noise": struct.unpack('h', f.read(2)), # 径向的垂直估计噪 - --编码为实际噪声的 - 100 倍 "PRF_FLAG": struct.unpack('I', f.read(4)), #重频标志, 11 – N1 PRF #1 ; 12 – N1 PRF #2; 21 – N2 PRF #1; 22 – N2 PRF #2; 排列方式：11128888：表示使用N1 PRF #1和PRF #2 #######################uint # 88882122：表示使用N2 PRF #1和PRF #2 11122122：表示使用N1和N2的PRF #1和PRF #2 （对应表2-7中09-13的描述）（8表示无效填充数据，弥补用0表示会出现的问题） # "Zip_Type": struct.unpack('h', f.read(2)), # 压缩类型 - --0 - 不压缩；1 - LZO压缩 "Reversed": f.read(70) # 保留70bit } radial_number = RadialData.get("Radial_Number")[0] # 径向数 J type_number = RadialData.get("Moment_Number")[0] # 数据类别数量 K typeHeader = {} # for J in range(radial_number): # for K in range(type_number): for i in range(type_number): # typeHeader[J][K] = { typeHeader = { # 共32字节 "Data_Type": struct.unpack('I', f.read(4)), # 数据类型 ---1～64 --具体径向数据类型见表2 - 6 "Scale": struct.unpack('I', f.read(4)), # 比例 --0～32768 --数据编码的比例 "Offset": struct.unpack('I', f.read(4)), # 偏移 --0～32768 --数据编码的偏移 "Bin_Length": struct.unpack('h', f.read(2)), # 库字节长度 - --保存一个距离库值用的字节数 "Flags": struct.unpack('h', f.read(2)), # 标志 - --数据标志位，暂不使用 "Length": struct.unpack('I', f.read(4)), # 长度 --1～32768 --距离库数据的长度，不包括当前的径向数据头大小 "Reserved": f.read(12) } block_length = typeHeader.get("Length")[0] bin_length = typeHeader.get("Bin_Length")[0] offset = typeHeader.get("Offset")[0] scale = typeHeader.get("Scale")[0] data_body = f.read(block_length) raw = np.frombuffer(data_body, 'u' + str(bin_length)).astype(np.float64) #TODO if i ==0: radar_range = np.arange(len(raw))*30 raw[raw <= 5.] = np.nan # 对于保存的编码值来说，5以下的值表示特殊意义，不应该被解码。 value = (raw - offset) / scale data_type = typeHeader.get("Data_Type")[0] data_shape[data_type] = value.shape[0] block_index = f.tell() roll_num = int((block_length_all - data_block) / (block_index - data_block)) azm_num = int(roll_num / cut_number) gc.collect() # print("=========",data_shape) # return get_radial_data(f, cut_number, azm_num, data_shape, data_block, SITE_CONFIG, radar_range, TASK_CONFIG['Polarization_Type']) return get_radial_data(f, cut_number, azm_num, data_shape, data_block, SITE_CONFIG, radar_range, TASK_CONFIG['Polarization_Type'], BEAM_CONFIG) def get_radial_data(f, cut_number, azm_num, data_shape, data_block, site_config, radar_range, polar_type, BEAM_CONFIG): """ :param f: :param cut_number: cut number :param azm_num: number of azm :param data_shape: length of block :return: dbz, vel, w, zdr, cc, dp, kdp, el_n, azm, el dbz:滤波后反射率(Reflectivity) dBZ vel:径向速度(Doppler Velocity) V w:谱宽（Spectrum Width） W zdr_:差分反射率（Differential Reflectivity ZDR cc_:协相关系数（Cross Correlation Coefficient） CC dp_:差分相移（Differential Phase） DP kdp_差分相移率（Specific Differential Phase） KDp azm:方位角 维度1 el:仰角 维度 1 """ _data_dict = {} for k, v in data_shape.items(): if k == 2: dbz = np.empty((cut_number, azm_num, v), dtype=np.float64) _data_dict['reflectData'] = dbz elif k == 3: vel = np.empty((cut_number, azm_num, v), dtype=np.float64) _data_dict['velData'] = vel elif k == 4: w = np.empty((cut_number, azm_num, v), dtype=np.float64) _data_dict['widData'] = w elif k == 7: zdr = np.empty((cut_number, azm_num, v), dtype=np.float64) _data_dict['zdrData'] = zdr elif k == 9: cc = np.empty((cut_number, azm_num, v), dtype=np.float64) _data_dict['ccData'] = cc elif k == 10: dp = np.empty((cut_number, azm_num, v), dtype=np.float64) _data_dict['dpData'] = dp elif k == 11: kdp = np.empty((cut_number, azm_num, v), dtype=np.float64) _data_dict['kdpData'] = kdp el_n = np.empty((cut_number, azm_num), np.int32) azm = np.empty((cut_number, azm_num), np.float32) el = np.empty((cut_number, azm_num), np.float32) f.seek(data_block) for j in range(cut_number): for k in range(azm_num): RadialData = { # 共64字节 保留13 字节 "Radial_State": struct.unpack('I', f.read(4)), # 径向数据状态 - --0–仰角开始；1–中间数据；2–仰角结束；3–体扫开始；4–体扫结束；5–RHI开始；6–RHI结束 "Spot_Blank": struct.unpack('I', f.read(4) ), # 消隐标志 - --0–正常；1–消隐 "Sequence_Number": struct.unpack('I', f.read(4) ), # 序号 - --每个体扫径向从1计数 "Radial_Number": struct.unpack('I', f.read(4) ), # 径向数 - --每个扫描从1计数 "Elevation_Number": struct.unpack('I', f.read(4) ), # 仰角编号 - --仰角编号，每个体扫从1计数 "Azimuth": struct.unpack('f', f.read(4) ), # 方位角 - --扫描的方位角度 "Elevation": struct.unpack('f', f.read(4) ), # 仰角 - --扫描的俯仰角度 "Seconds": struct.unpack('q', f.read(8) ), # 秒 - --径向数据采集的时间，UTC计数的秒数, 从1970年1月1日0时开始计数 "Microseconds": struct.unpack('I', f.read(4) ), # 微秒 - --径向数据采集的时间除去UTC秒数后，留下的微秒数 "Length_of_data": struct.unpack('I', f.read(4) ), # 数据长度 - --仅本径向数据块所占用的长度如有压缩，长度为压缩后数据长度 "Moment_Number": struct.unpack('I', f.read(4) ), # 数据类别数量 - --径向数据类别（如Z，V，W等各占一种）的数量 "Scan Beam Index": struct.unpack('h', f.read(2) ), # 波束编号 ---1-32 --波束编号 "Horizontal_Estimated_Noise": struct.unpack('h', f.read(2) ), # 径向的水平估计噪声 - --编码为实际噪声的 - 100倍 "Vertical_Estimated_Noise": struct.unpack('h', f.read(2) ), # 径向的垂直估计噪 - --编码为实际噪声的 - 100 倍 "PRF_FLAG": struct.unpack('I', f.read(4)), #重频标志, 11 – N1 PRF #1 ; 12 – N1 PRF #2; 21 – N2 PRF #1; 22 – N2 PRF #2; 排列方式：11128888：表示使用N1 PRF #1和PRF #2 #######################uint # 88882122：表示使用N2 PRF #1和PRF #2 11122122：表示使用N1和N2的PRF #1和PRF #2 （对应表2-7中09-13的描述）（8表示无效填充数据，弥补用0表示会出现的问题） # "Zip_Type": struct.unpack('h', f.read(2) # ), # 压缩类型 - --0 - 不压缩；1 - LZO压缩 "Reversed": f.read(70) # 保留13bit } # print(f.tell()) # f.seek(8672) el_n_ = RadialData.get("Elevation_Number")[0] azm_ = RadialData.get("Azimuth")[0] # el_ = RadialData.get("Elevation")[0] el_ = BEAM_CONFIG['%d' %(j+1)]["Rx_Beam_Elevation"][0] type_number = RadialData.get("Moment_Number")[0] for i in range(type_number): typeHeader = { # 共32字节 "Data_Type": struct.unpack('I', f.read(4)), # 数据类型 - --具体径向数据类型见表2 - 6 "Scale": struct.unpack('I', f.read(4) ), # 比例 - --数据编码的比例 "Offset": struct.unpack('I', f.read(4) ), # 偏移 - --数据编码的偏移 "Bin_Length": struct.unpack('h', f.read(2) ), # 库字节长度 - --保存一个距离库值用的字节数 "Flags": struct.unpack('h', f.read(2) ), # 标志 - --数据标志位，暂不使用 "Length": struct.unpack('I', f.read(4) ), # 长度 - --距离库数据的长度，不包括当前的径向数据头大小 "Reserved": f.read(12) } # print(typeHeader) data_type = typeHeader.get("Data_Type")[0] scale = typeHeader.get("Scale")[0] offset = typeHeader.get("Offset")[0] bin_length = typeHeader.get("Bin_Length")[0] block_length = typeHeader.get("Length")[0] data_body = f.read(block_length) dtype = "u%d" % bin_length # print(body) raw = np.frombuffer(data_body, dtype).astype(np.float64) # raw = np.asarray(struct.unpack(str(block_length) + "B", data_body)).astype(np.float64) raw[raw <= 5.] = np.nan value = (raw - offset) / scale # print(np.nanmin(value)) # print(np.nanmax(value)) if data_type == 2: # dbz[el_n_ - 1, k, :] = value dbz[el_n_ - 1, k, :len(value)] = value elif data_type == 3: # vel[el_n_ - 1, k, :] = value vel[el_n_ - 1, k, :len(value)] = value elif data_type == 4: # w[el_n_ - 1, k, :] = value w[el_n_ - 1, k, :len(value)] = value elif data_type == 7: # zdr[el_n_ - 1, k, :] = value zdr[el_n_ - 1, k, :len(value)] = value elif data_type == 9: # cc[el_n_ - 1, k, :] = value cc[el_n_ - 1, k, :len(value)] = value elif data_type == 10: # dp[el_n_ - 1, k, :] = value dp[el_n_ - 1, k, :len(value)] = value elif data_type == 11: # kdp[el_n_ - 1, k, :] = value kdp[el_n_ - 1, k, :len(value)] = value el_n[el_n_ - 1, k] = el_n_ azm[el_n_ - 1, k] = azm_ el[el_n_ - 1, k] = el_ # print(f"the No.{el_n_} elevation is {el_}") gc.collect() result = { 'radarNumber': site_config['Site_Code'], 'longitude': site_config['Longitude'], 'latitude': site_config['Latitude'], 'altitude': site_config['Antenna_Height'], 'radarRange': radar_range, 'azimuthData': azm[1, :], 'elevationData': el[:, 1], 'polar_type': polar_type } result.update(_data_dict) f.close() return result