〜 明日から「デジタル変革」を始めるには? 〜 ゲームチェンジの時代を勝ち残るビッグデータ/IoT活用法

ビッグデータ/IoT活用に向けた課題とHadoop(ハドゥープ)/ Spark(スパーク)がもたらす最適解とは

ビッグデータの定義について改めて考えた場合、4つのVで示すことができる。それは、①Volume(容量)、② Variety(種類)、 ③Velocity(頻度・スピード)、④Value(価値)だ。

「つまり①従来の技術の処理容量を超える膨大な容量の、②構造化されたデータだけでなく音声やビデオ、位置情報やセンサー情報といったフリーテキスト形態の非構造化データや、③ログ等に代表されるようなリアルタイムで発生するデータを、④最終的に“企業価値”へと昇華させるための分析が必要となります。そうしたデータを「準備」「収集」「統合」「蓄積」「処理」し、最終的に「活用(分析)」して、コスト削減や売上向上といった、企業の経営活動における価値へ導き出せるかが、ビッグデータ/IoTの活用ではカギとなります」と堀田氏は説明する(図1)

そうしたデータ分析を実現していくにあたっての課題として、堀田氏は、①分析データの陳腐化、②データ分析環境の構築の度に要する多大な開発コストと時間、③情報資源の無駄の発生、を挙げる。 

「多くの企業では、多種多様なデータを収集し、分析しやすいように変換してデータウェアハウス(DWH)に蓄積、さらにDWHから各事業部門の目的に応じて必要なデータを取り出せるような小規模なデータベース、いわゆるデータマートを構築して、実際の分析を行っています。しかし、利用者がデータを入手するまでに様々なシステムを経由し、繰り返し処理が行わることで、可能な限りリアルタイムでのデータ分析を行いたい要望があるにも関わらず、データの価値はどんどん古くなり、陳腐化してしまいます。また、データ分析ごとにデータマートを構築する傾向があるため、多大なコストや時間がかかることに加え、データの転送・複写の繰り返しによるデータロスや、結果として管理の煩雑性が生じてしまっているのが現状です」(堀田氏)

デル株式会社インフラストラクチャ・ソリューション事業本部
エンタープライズソリューションズ&アライアンス部
BigDataビジネス開発 マネージャー
堀田鋭二郎氏

これらの課題を解決し、効果的なビッグデータ/IoTの活用のための基盤を実現していくためのテクノロジーとして、近年、注目を集めているのが、大規模データの分散処理を支えるオープンソースのソフトウェアフレームワーク「Hadoop(ハドゥープ)」である。Hadoopはテラバイト、ペタバイクラスの大量データに対する並列分散処理基盤を実現することを得意としたミドルウェアであり、複数のPC サーバを束ねて、一つの大きな処理システム(クラスタ)として利用可能であるほか、サーバノードの増加によるスケールアウトによって、処理スピード、処理スループットを増加させられるといった特徴を持つ。

「Hadoopを以前から御存じの方は、データを蓄積して処理するバッチ処理基盤と思いがちですが、各種コンポーネント、エコシステムとの連携による発展性があり、それらを組み合わせて利用することでデータ基盤としての利便性が顕著に増大しています。すなわち、データ収集や蓄積、SQLクエリ処理と検索、ストリーム処理や機械学習、さらにはアクセス制御も可能な唯一無比のデータプラットフォームへと成長を遂げているのです(図2)。蓄積するデータの種類も構造化、非構造化、半構造化を問わないため、“データを蓄積したところで分析する”という経済性とニアリアルタイム処理性も確保できます」(堀田氏)

実際、Dell EMC (*) においてもHadoopを利用したビッグデータ案件が急成長しているという。堀田氏は、「Hadoopは2016年に誕生から10年目を迎えましたが、年を追うごとに機能拡張が施され、ユーザにとって利用しやすい環境が整えられています。Dell EMCでも2015年と2016年を比較した際に、Hadoopに関するビジネスが10倍以上に拡大しています」と強調する。
(*) デル株式会社とEMCジャパン株式会社から提供しているインフラストラクチャー・ソリューションズ事業のブランド名

検証済みのテクノロジーで迅速な導入、運用が可能
パフォーマンスにも優れたDell EMCのHadoop / Sparkソリューション

それでは、Dell EMCが提供する、Hadoopを活用したビッグデータ/IoTソリューションの優位性はどこにあるのか。1つには、IoTのEdge Gatewayからサーバ、ストレージ、ネットワーク、そしてミドルウェアのライセンスに至るまで、必要なコンポーネントを、設計や構築、ビッグデータ/IoTコンサルティング、運用サポートも含めてワンストップで提供可能なことだ。

一例を挙げるとセンサーからデータを「収集」し、データ派生元の近くで「データ処理」した上で、必要なデータだけをデータウェアハウス(DWH)へと「転送」するためのIoT Gatewayをはじめ、収集したデータを「蓄積/統合」するためのHadoop向けに最適化したサーバやストレージのほか、データを「管理/処理」するためのDWH/データストアを担うSAP HANAやMicrosoft SQL SSD Appliance(製品名:爆速メモリストレージサーバ)、Hadoop SparkのようなインメモリDBソリューション、そして各種分析を行うためのツールを適材適所に応じて提供可能な製品ポートフォリオを保有している。堀田氏は、「すなわち、データの収集から、蓄積、統合、処理、分析というビッグデータ/IoT活用における、すべてのフェーズに対応するソリューションをDell EMCはワンストップで提供できるのです」と強調する。

さらに今後は、EMCとの統合を生かして、Hadoop環境と既存ストレージ環境を統合するデータレイクソリューションとして、マルチプロトコルに対応し管理が容易なスケールアウト型NAS「Dell EMC Isilon」とPowerEdgeサーバを組み合わせたHadoopソリューションの強化も行っていく予定である。

そうした幅広い製品ラインナップを取り揃えるだけでなく、ビッグデータ/IoTの活用に際しても、Dell EMCが以前より掲げてきた「複雑なITをシンプル化する」というコンセプトを具現化するための仕組みが用意されている。それは、Dell EMCがグローバルで推進する戦略「Dell EMC Blueprintソリューション」だ。

「Blueprintソリューションとは、全世界の有力なパートナー企業と密に連携し、事前に検証済みのシステム構成を明確化し提供することにより、企業が迅速な導入と運用を可能とするものです。Hadoop / Sparkを用いたビッグデータ/IoT基盤の構築に際しては、テスト環境の構築からリアルタイムでのデータ分析など用途や、データ容量、処理能力に応じて柔軟に選択可能なシステム構築のためのベストプラクティスが盛り込まれたリファレンスアーキテクチャー(事前検証済みの設計ガイドライン)を提供しています。」(堀田氏)

例えば、 Apache Hadoopリファレンスアーキテクチャーでは、ビッグデータ処理の分析に最適なインテル® Xeon® プロセッサーを搭載した2ソケットサーバDell EMC PowerEdge R730xd、Dell EMC PowerEdge FX2、Dell EMC Networking S4048-ON を中軸に各種周辺機能や製品を含めた事前検証済みモデルを用意。インテル® Xeon®プロセッサーの採用により、ビッグデータ分析に際しての性能の確保をはじめ電力の効率化、さらにはセキュリティ等、多彩なメリットが享受できるようになっている(図4)。

「そうしたDell EMCのHadoopソリューションの優位性として、比類なきパフォーマンスも挙げられます。最適化されたレファレンスアーキテクチャーをベースに、TPCx-HSという第3者機関であるトランザクション処理性能評議会でのHadoopの性能を検証するベンチマークテストでは、競合製品と比較して最大64%高い性能対費用の高パフォーマンスを実現していることが、結果として提示されています」(堀田氏)

また、Dell EMCのHadoopソリューションの優位性はネットワークの領域においても発揮される。

「Hadoopの活用に際しては、大量のデータを扱うためネットワーク機器の性能の高さが求められます。また、大量のPCサーバの管理と同時に、それらを繋ぎ合わせるデータネットワークについても効率的に管理を行っていかなければなりません。対してDell EMCは、2011年に買収した高速・高性能スイッチで定評があったネットワークスイッチメーカーForce10(フォーステン)の技術をベースにしたDell EMC Networking製品を核に、コストパフォーマンスの高いHadoopソリューションを提供しています。

先進的な取り組み要素として、ネットワークスイッチのハードとソフトを分離し、サーバと同じようなLinux系のOS、管理ツールで大規模なネットワーク機器を効率的に管理できるようになる”オープンネットワーキング”ソリューションを他社に先駆けて提供しています。具体的にはPluribusをはじめとするネットワークスイッチのOS・ソフトウェアを提供するオープンネットワーキングのパートナー企業のソフトウェアを組み合わせ、Hadoop向けのネットワークファブリックの可視化と管理のシンプル化を実現しています。これは、Dell EMCがサーバの世界で行ってきたインフラのオープン化を、ネットワークの世界にも拡大していくものです」(堀田氏)

システムの安定運用を支える手厚いサポートもDell EMCの大きな優位性

Dell EMCによる、Hadoopを活用したビッグデータ/IoTの先進的な活用事例も数多く登場している。その一例として、米国Sensus社によるケーススタディを紹介しよう。電力、ガス、水道に係るデータ収集ソリューションを展開している同社では、北米において、1,700万台を超えるガス、水、電気使用に関するデータを、メーターセンサーを介して日々、収集している。それらのデータは、Sensus社の顧客のバックエンドシステムに送信され、使用状況の監視や、リソースの節約に用いられる。

同社では、センサーのパフォーマンスに関する問題をより容易に可視化できるよう、収集するデータセットのサイズを増やす必要があったという。しかし、それを実現するためには、より膨大なデータを処理する基盤が必要となる。そこでDell EMCのHadoopソリューション、およびインテルのテクノロジーを基盤としたデータクラスタとデータレイクを構築。製造やテスト、およびその他のデータ・ストリームを統合した。その結果、1700万台以上のガス、電気、水道メーターセンサーのデータをニアリアルタイムに分析することが可能となったほか、メーターセンサーに関する問題を迅速に特定することで、将来的なメーターセンサーの障害を防ぐための手段を講じたり、より高品質な製品を設計、提供したりすることが可能な基盤を実現できたという。

こうしたSensus社の事例をはじめとして、Dell EMCのHadoopソリューションにより、先進的なビッグデータ/IoT基盤の構築を実現することで、他社に先駆けてビジネスの優位性を確保している企業が次々に登場している。そうしたDell EMCがもたらす優位性は、製品やソリューションに留まらず、システムの継続的な安定稼働を支えるサポート力にもある(図5)。

「Blueprintソリューションの実装を支援するだけでなく、万が一のトラブルが発生した際のサポートも万全の体制を整えています。例えば国内においては川崎と宮崎のコールセンターでは600名のサポートスタッフが日々、お客様からの問い合わせやサポート依頼に対応しているほか、全国200か所にオンサイト保守サービス拠点を構え、1,200名以上の技術要員が現場の保守対応にあたっています」と堀田氏は説明する。

デジタル変革の進展によって、ゲームチェンジの時代が今まさに到来しようとしている。先進的なビッグデータ/IoT基盤の実現で悩まれているのであれば、製品やソリューションの提供のみならず、設計・構築のベストプラクティスから手厚いサポートまでを網羅するDell EMC、そしてDell EMCの販売パートナーに相談してみてはいかがだろうか。

「2016年末には Best IoT Hardware – Commercial and Industrial の分野で2016 IoT Innovator Awardsを受賞しました。さらに、より先進的なビッグデータ/IoT基盤の提供に向け、Dell EMCはこれからもさまざまなベンダーとのエコシステムを形成し、お客様のご要望に柔軟に対応可能な、適材適所のソリューションを提供に尽力していきます」と堀田氏は力強く訴えた。

LINK

Dell EMCのHadoopソリューションの詳細はこちら
(2016年11月のCloudera World Tokyo 2016でのデルセッション資料 )

出稿元 : デル株式会社
お問合せ先 : jp_bigdata@dell.com

最新のインテル® Xeon® プロセッサーは、ビッグデータ分析、新しいエンタープライズ・アプリケーション、科学技術計算、通信、ストレージ、クラウドなど、さまざまな用途に、性能、電力効率、仮想化、セキュリティーの面で大きなメリットを提供し、IT 部門の課題解決を支援します。

Intel、インテル、Intelロゴ、Xeon、Xeon Insideは、アメリカ合衆国および/またはその他の国におけるIntel Corporationの商標です。

お問合せ先:jp_bigdata@dell.com