留言討論


分享本文至 E-mail 信箱

IBM 新增 Apache Spark 支援 z Systems 大型主機資料存取

2016 年 04 月 06 日

IBM 最新 z/OS 平台可支援 Apache Spark,方便企業更簡便、更快速地取用及分析 IBM z Systems 大型主機內的資料,為資料科學家與開發商創造新契機,結合先進分析技術與系統內豐富資料,擁有即時分析能力。

IBM z/OS 平台可支援 Apache Spark,使開源分析架構 Spark 可自然地在 z/OS 大型主機作業系統內運作。此新平台現已上市,幫助資料科學家在系統源頭分析資料,不需擷取、轉換與載入(ETL),打破分析資料庫與底層檔案系統的連結。

在認知時代中,資料是新的天然資源,電腦系統能夠瞭解、歸納並學習這些資料,企業則必須在洞見價值尚未消失前,及時地開發與利用。該平台包含 z Systems 事業夥伴開發的加速器,讓組織能更輕易的利用 z Systems 資料與性能,以瞭解市場變遷及滿足個別客戶需求,並即時調整業務,縮短創造價值所需的時間。

全球多家大型銀行、保險業者、零售商及運輸公司均已使用 z Systems 處理重要資料及交易,其中內含業界最快速的商業微處理器,能在交易中執行分析工作,並在兩毫秒內計算交易的預測模型。各組織如今可運用這些功能,透過 Spark 運用先進的內存記憶體分析,無需將資料移到大型主機外,如此可節省時間與金錢,也降低潛在風險。

IBM 新興網路技術研究員 Rod Smith 指出,「企業不論規模大小,都逐漸轉型為即時數位組織,企業必須掌握內部所有資料的全貌,但不能耗費過多時間或提高 ET L風險。透過 Apache Spark 可於 z Systems 等 IBM 平台內自然運作,客戶能在存有重要資料的交易系統內完成分析,同時從其他資料來源挖掘相關資訊,實踐與客戶即時互動、創造營收」。

支援 Apache Spark 的 IBM z/OS 平台內含 Spark 的開源功能,包括 Apache Spark 核心、Spark SQLSpark Streaming、機器學習資料庫(MLlib)與 Graphx,搭配業界中唯一大型主機內建Spark資料提煉解決方案。全新 IBM z/OS 平台協助企業提升汲取洞見的效能與安全性,特色包括:

  • 簡化開發-開發者與資料科學家能運用本身既有的專業及程式語言,如 ScalaPython及 SQL縮短評估可行作為所需的時間。
  • 簡化資料存取-優化資料抽象化服務後能降低複雜度,並透過 Apache Spark APIs 的常見工具,以IMSVSAMDB2 z/OSPDSE 或 SMF 等傳統格式,流暢存取企業資料。
  • 就地化資料分析Apache Spark 使用內存記憶體的方式處理資料,以加速傳送結果。該平台包含資料提煉與整合服務,協助 z/OS 分析應用程式並善用標準 Spark APIs,如此可讓組織恰當準確地分析資料,免除與 ETL 有關的高成本處理及安全考量。
  • 開放源碼功能-本平台提供 Apache Spark 開源碼、專為海量資料設計的內存記憶體處理引擎。

IBM 也與 DataFactZRocket Software 及 Zementis 三家夥伴合作,使用支援 Apache Spark  IBM z/OS 平台建立客製化解決方案:

  • DataFactZ 為 IBM 的新合作夥伴,共同以 Spark SQL 及 MLlib 為基礎,開發 Spark 分析工具,處理大型主機內的資料與交易。
  • Rocket Software 為 IBM 長期合作夥伴,合作項目包括 z/OS Apache Spark,例如客戶在最新的 Rocket Launchpad 解決方案內,可使用 z/OS 上的資料試用該平台。
  • Zementis 在自有 z/OS 交易內預測分析工具中,搭配 Apache Spark 標準執行引擎,這項解決方案協助用戶建置與執行先進的預測模型,估算終端用戶的需求、計算風險,並在最大衝擊時即時偵測錯誤,同時處理交易內容。

最新支援 Apache Spark 的 z/OS 平台與夥伴解決方案結合後,可協助在不同來源中收集資料的資料科學家及數據整理專業人員,使用偏好的格式及工具,從各方蒐集與分析資料。

IBM 去年投入一項 Spark 計畫,由逾 3,500 名內部研究與開發者參與框架架構相關專案,為繼續推動大型主機開源分析技術,z Systems 已成立 GitHub 組織,讓開發者彼此合作並打造 z/OS 上的 Spark 工具,例如結合 Project Jupyter 與各種 NoSQL 資料庫之後,可打造兼具彈性與延展性的資料處理及分析解決方案。

這項計畫讓開發者可自選工具及程式語言,促進現代開源工具更加普及化,並提供新視覺輔助工具,可在分散資料環境內監控分析結果,促進現代資料處理技術與技能。

關於作者


PanX 泛科技

PanX 泛科技從科技議題著手,企圖把未來更清楚地描繪出來。從能源議題、金融科技、生物科技,到物聯網、大數據、工業4.0、自造者,都是我們專注的內容。本帳號也會發布來自其他單位提供的新聞稿。

留言討論