新聞中心

當前頁面: 首頁 >新聞中心 >新品速遞 >Historian ETL工具—讓文件傳輸更簡單高效

Historian ETL工具—讓文件傳輸更簡單高效

--讓文件傳輸更簡單高效

供稿:GE數字集團 2020/7/3 11:35:57
0 人氣:--

GE數字集團系統架構師 余思源

Historian 8.1已經在今年五月正式發布,該版本的一個重要更新就是新發布的ETL工具。

640.png

ETL是Extract, Transform, Load的縮寫,中文翻譯是:提取-傳輸-加載,實際上ETL是一套面向文件的高性能數據傳輸解決工具。

功能簡介

眾所周知,Historian已經提供了Server to Server (S2S)采集器,用于在兩臺Historian服務器之間傳遞數據。S2S采集器可以高效實時地傳遞數據,同時還支持本地緩存功能,在網絡中斷時可保障數據不丟失。

640-4.png

但是S2S采集器也有局限性,若兩臺Historian服務器之間無網絡連接(兩臺服務器位于不同的城市,或者一臺在控制網而另一臺在辦公網),或者網絡連接的成本太高(一臺服務器部署在輪船上而另一臺在陸上的數據中心)時,S2S采集器則不太適用了。


Historian ETL正是為了應對這些場景而生,它包含一整套面向文件的數據提取,傳輸和加載工具。

640-2.png

首先,ETL配置哪些標簽需要發送,它們在現場和目標Historian上的名稱(可以不相同),是否啟用采集器壓縮,死區范圍,超時時間等信息;然后將現場Historian服務器上選中的數據提取并保存為文本文件,若干文本文件合并壓縮再后發送到一臺BITS或FTP文件服務器上;目標Historian服務器上開啟相應服務來監控文件服務器,一旦發現了新的壓縮文件,則將其內容解析后導入目標Historian中。

ETL傳輸方式類似于“數據二極管”的模式,數據是單方向的傳輸,現場Historian服務器不知道也無需知道目標Historian服務器是否收到數據,從而避免了一切通過狀態反饋信息來試探甚至破壞現場Historian服務器。此外,壓縮文件可以暫存在目標服務器上,這也降低了對現場Historian服務器的磁盤和性能的要求。

前期準備

在前期準備時,用戶需要創建一個XML文件,指定現場Proficy Historian或PI Server中哪些標簽及其屬性需要提取,該文件格式如下:

image.png

為了方便用戶維護該XML文件,系統提供一個Excel模板,用戶可方便地在Excel中整理需要提取的標簽列表,然后輸出到XML文件中。

提取

提取組件可以將數據從三種數據源中導出,它們是Historian時序數據,Historian A&E數據和OSI PI數據。

對于Historian時序數據,還可以提取警報和事件數據,執行數據縮放和絕對值死區壓縮。

將導出的文本文件進行壓縮,以實現高效傳輸。

用戶需要通過Historian ETL Extract Configuration工具對提取組件進行配置,其界面如下:

640-3.png

配置完成后,點擊配置工具中的“Start Service” 按鈕即可開始提取工作。

以Historian時序數據為例,提取組件的工作流程如下:

將與標簽相關的數據提取到文本文件中,該文件以以下格式命名:YYYYDDMMHHRR_ <現場historian計算機名稱> .txt。這些文件存儲在以下文件夾中:/ Historian ETL Extract / HistFiles。

提取了指定數量的文本文件(默認為6個)后,將這些文本文件打包壓縮為.zip文件,該文件以以下格式命名:YYYYDDMMHHRR_ <現場historian計算機名稱> .zip。這些文件存儲在以下文件夾中:/ Historian ETL Extract / ZipFiles。

文件被壓縮后,刪除/ Historian ETL Extract / HistFiles文件夾中的文本文件。

傳輸

在目標Historian服務器上安裝文件共享傳輸協議(例如FTP,BITS等),將數據從現場Historian服務器傳輸到目標Historian服務器。

若選擇使用BITS,需要在Windows Features中安裝BITS相關服務,如下圖所示。

640-5.png

BITS站點配置完成后,用戶可執行/Historian ETL Transform/BITS 目錄下的

OSM_LBW_Transfer.cmd程序來啟動文件傳輸,相關配置信息請參見OSM_LBW_Transfer.vbs文件。

若選擇使用FTP,需要在Windows Server Roles中安裝FTP相關服務,如下圖所示。

640-6.png

FTP站點配置完成后,用戶可執行/Historian ETL Transform/ FTP File Transfer/ 目錄下的. FTPFileTransfer程序,配置FTP站點信息,需要監控的ZIP文件目錄等,點擊 “Start“按鈕即可開始傳輸文件。

640-7.png

加載

加載是提取的逆向操作,它負責監視文件目錄,解壓縮文件并處理它們,將數據加載到Proficy Historian中。

用戶需要通過Historian ETL Load Configuration工具對加載組件進行配置,其界面如下:

640-8.png

配置完成后,點擊配置工具中的“Start Service” 按鈕即可開始加載工作。

加載組件的工作流程如下:

提取/ Historian ETL Load / ZipImportFiles文件夾中的.zip文件,解壓縮后的文本文件存儲在目標Historian服務器的/ Historian ETL Load / ImportFiles文件夾中。

將數據導入到目標Historian服務器。

刪除/ Historian ETL Load / ZipImportFiles文件夾中的.zip文件。

刪除/ Historian ETL Load / ImportFiles文件夾中的文本文件。

總結

ETL工具是Server to Server采集器的有效補充,它可以為眾多的應用場景提供服務,如下文所示:

通過無線電或低帶寬蜂窩連接進行數據傳輸

沒有連接的數據傳輸(使用移動媒介進行讀寫)

用于定期連接應用程序的數據傳輸(例如,船舶可以在到達港口時傳輸數據)

通過單向安全連接(例如數據二極管)進行數據傳輸

從OSI PI Server到Proficy Historian的數據遷移

提取Historian數據以導入到其它應用程序中

從其它應用程序導入數據到Historian中

ETL包含數據提取,傳輸和加載三個組件,它們可以單獨使用,也可以組合成一套完整的面向文件的數據傳輸解決方案。

640-9.png

如果大家對ETL工具和新發布的Historian 8.1感興趣,歡迎隨時與GE Digital聯系。

審核編輯(吳新慧)
更多內容請訪問 GE數字集團(http://c.gongkong.com/?cid=57564)

手機掃描二維碼分享本頁

工控網APP下載安裝

 

我來評價

評價:
一般
宁夏十一选五玩法