【第13回】テラバイト級データに挑む!iDesktopXのビッグデータオンライン分析

こんにちは!GIS導入支援コンサルタントのippuku_timeです。 「5分で分かるSuperMap iDesktopX製品・機能紹介シリーズ」、第13回です。前回は水道や電力網といった「施設ネットワーク解析」を学びました。今回は、ついに「 ビッグデータ 」の世界に足を踏み入れます。全国のスマホ位置情報や車両の全走行軌跡など、一台のPCでは到底扱いきれないテラバイト級のデータを、iDesktopXはどのように分析するのでしょうか。その秘密に迫ります。 【第13回】テラバイト級データに挑む!iDesktopXのビッグデータオンライン分析 1. ビッグデータオンライン分析の仕組み 「ビッグデータ分析」と聞くと、専門的なプログラミングや複雑な環境構築が必要だと思われるかもしれません。しかし、iDesktopXのアプローチは異なります。iDesktopX自体は、分析を指示し結果を受け取るための快適な「 ターミナル(操作端末) 」として機能します。実際の膨大な計算処理は、背後にある強力なGISサーバー「 SuperMap iServer 」と分散処理基盤「 Apache Spark 」が連携して実行します。 これにより、ユーザーは使い慣れたデスクトップGISの操作感のまま、サーバークラスターのパワーを最大限に活用して、これまで不可能だった規模のデータ分析を行うことができるのです。 図13-1 iDesktopXとiServerによるビッグデータ分析アーキテクチャ 図13-2 GISビッグデータ解析の概念イメージ:無数のデータポイントから意味のあるパターンを抽出する 2. 解析の準備:iServer環境との接続 分析を始める前に、iDesktopXからビッグデータ分析機能が有効化されたiServerに接続します。分析対象となる大規模データは、あらかじめHDFS(Hadoop分散ファイルシステム)やPostgreSQLなどの分散ストレージに格納し、iServerに「データ登録」しておく必要があります。 3. 代表的なビッグデータ解析機能 iDesktopXのビッグデータ解析ツールは、通常の空間解析ツールと似た操作感で利用できますが、その裏側ではテラバイト級のデータを処理するために最適化されています。 (1) 密度分析 (Density Analysis) 数千万〜...