SuperMap Blog

「数千万件のデータを処理しようとしたら、PCがフリーズしてしまった…」 「巨大なデータセットを前に、どこから手をつけていいか途方に暮れている…」 大規模データの処理は、多くのGIS実務者にとって頭の痛い問題です。特に、自然資源の調査や広域モニタリングの現場では、データ量が日々増大し、従来の処理能力ではもはや追いつかない、という悲鳴も聞こえてきます。 今回は、SuperMapのGPAがこの「巨大データの壁」をいかにして乗り越えたのか。その切り札である 「分散分析ソリューション」 と、実際のプロジェクトで達成された驚くべき成果をご紹介します。 課題解決の鍵「GPA分散分析」とは SuperMap iServerに搭載されたGPAの分散分析機能は、一つの重い処理タスクを複数のマシンに分割し、同時に処理させる技術です。これにより、一台のマシンでは何時間、何日とかかっていた処理を、劇的に短縮します。これまで手作業でデータを分割せざるを得なかった億単位のデータですら、一括で高速に処理する時代の到来です。 【事例1】複雑な分析業務を8割以上の時間短縮 ある省の自然資源部門では、複雑な法規制ルールの適合性分析に、従来は半日もの時間を費やしていました。この定型的で煩雑な作業をGPAの分散分析モデルで自動化したところ、 わずか1時間足らず で完了。担当者は単純な繰り返し作業から解放され、分析結果の解釈といった、より付加価値の高い業務に専念できるようになりました。 【事例2】「千万件 vs 千万件」の重ね合わせ、1日からわずか44分へ GIS分析の“ラスボス”とも言える、大規模なポリゴンデータ同士の重ね合わせ。ある省のプロジェクトでは、5,000万ポリゴンと6,000万ポリゴンの重ね合わせに、従来はデータを細かく分割しながら処理を進め、 丸1日以上 を要していました。 この処理をGPAの分散分析に切り替えた結果、全データを一括投入し、かかった時間は 信じられないことに、わずか44分 。データ分割の手間がなくなっただけでなく、効率はまさに異次元のレベルへと飛躍しました。 【事例3】億単位のデータ処理という未知の領域へ GPAの挑戦は留まるところを知りません。最近では、4.6億件と5.9億件という国家レベルの超巨大データの重ね合わせ分析にも成功。データ準備から分析、結果出力までの全工程を わ...

  こんにちは！GIS導入支援コンサルタントのippuku_timeです。 「5分で分かるSuperMap iDesktopX製品・機能紹介シリーズ」、第13回です。前回は水道や電力網といった「施設ネットワーク解析」を学びました。今回は、ついに「 ビッグデータ 」の世界に足を踏み入れます。全国のスマホ位置情報や車両の全走行軌跡など、一台のPCでは到底扱いきれないテラバイト級のデータを、iDesktopXはどのように分析するのでしょうか。その秘密に迫ります。 【第13回】テラバイト級データに挑む！iDesktopXのビッグデータオンライン分析 1. ビッグデータオンライン分析の仕組み 「ビッグデータ分析」と聞くと、専門的なプログラミングや複雑な環境構築が必要だと思われるかもしれません。しかし、iDesktopXのアプローチは異なります。iDesktopX自体は、分析を指示し結果を受け取るための快適な「 ターミナル（操作端末） 」として機能します。実際の膨大な計算処理は、背後にある強力なGISサーバー「 SuperMap iServer 」と分散処理基盤「 Apache Spark 」が連携して実行します。 これにより、ユーザーは使い慣れたデスクトップGISの操作感のまま、サーバークラスターのパワーを最大限に活用して、これまで不可能だった規模のデータ分析を行うことができるのです。 図13-1 iDesktopXとiServerによるビッグデータ分析アーキテクチャ 図13-2 GISビッグデータ解析の概念イメージ：無数のデータポイントから意味のあるパターンを抽出する 2. 解析の準備：iServer環境との接続 分析を始める前に、iDesktopXからビッグデータ分析機能が有効化されたiServerに接続します。分析対象となる大規模データは、あらかじめHDFS（Hadoop分散ファイルシステム）やPostgreSQLなどの分散ストレージに格納し、iServerに「データ登録」しておく必要があります。 3. 代表的なビッグデータ解析機能 iDesktopXのビッグデータ解析ツールは、通常の空間解析ツールと似た操作感で利用できますが、その裏側ではテラバイト級のデータを処理するために最適化されています。 (1) 密度分析 (Density Analysis) 数千万〜...