IT知識
「ビッグデータ分析に興味はあるが、解析方法ややり方がよくわからない。」という悩みを抱えている人も、多いのではないでしょうか。
この記事を読めば、ビッグデータ分析の概要から、収集方法、解析手法、ツール、データクレンジングの方法までが簡単にわかります。
初心者の方向けに、できるだけわかりやすく解説するのでぜひ最後まで目を通してください。
小中規模プロジェクトを中心にSEやコンサルとして活動。クラウド導入やスタートアップ、新規事業開拓の支援も経験しました。
ビッグデータ分析とは？
インターネットの発達やセンサー技術の向上に伴い、世の中で生成・蓄積されるデータの量は日増しに膨大なものとなっています。SNSやECサイトから発生するユーザーデータや、工場の機械データ、自動車の運行データ等は「ビッグデータ」と呼ばれ、その量は、もはや人の手で処理できるレベルを超えています。
ビッグデータ分析とは、この大規模データを高度なアナリティクス技術を用いて処理・解析することで、ビジネスや社会の課題解決に役立てる手法です。未知の需要を発見したり、製品の欠陥を予測したりと、データから新たな洞察を引き出すことを目的としています。
川のように流れるビッグデータをいかに捉え、有効活用していくかが企業に求められています。
ビッグデータ分析の目的
ビッグデータ分析の主な目的は、膨大なデータから有用なパターンやトレンドを発見することです。
業種や目的に合わせて大規模データから有益な情報を引き出すことができるのが、ビッグデータ分析の強みです。データドリブンな意思決定が期待されています。
具体的には以下のような目的があります。
消費者行動の分析
SNSやECサイトの利用データから、個人の嗜好や購買傾向を分析し、消費者のニーズを把握することができます。これにより、商品開発やターゲティング広告の精度が向上します。
生産性や品質の最適化
工場の機械データから、製造工程の改善点を発見できます。部品交換の最適タイミングを予測することも可能です。
不正検知
大規模な取引データから、イレギュラーなパターンを検知することで、マネーロンダリングや不正アクセスの防止に寄与します。
異常検知
異常値の検出にも威力を発揮します。
例えば、多数のセンサーデータから設備の故障兆候をいち早く探知することが可能です。予知保全につながり、運用コスト・損害を最小限に抑えられます。
ビッグデータ分析の特徴「3つのV」とは
ビッグデータには「3つのV」という特徴があります。
- ボリューム（量）
- ベロシティ（速度）
- バラエティ（多様性）
この「3つのV」という、ビッグデータの特性を最大限に活かす分析手法が求められています。それぞれ詳しく見ていきましょう。
ボリューム（量）
量とは、テラバイトやペタバイトといった単位で表される非常に大きなデータ量を指します。一般的に、データ容量がテラバイト以上になるとビッグデータと定義されます。この膨大なデータを、収集・保管することができるインフラが整備されてきたことが、ビッグデータ時代の訪れを告げています。
ベロシティ（速度）
速度とは、巨大なデータが爆発的なスピードで生成され続けていることを表しています。ツイッターから生成される、500万件/日以上のつぶやきデータや、1000万人規模のECサイトからの注文データなどがその例です。リアルタイムで、データを解析し意思決定する必要がある場合も少なくありません。
バラエティ（多様性）
多様性とは、テキスト/画像/動画/音声など、種類の異なるデータが複合的に含まれる特徴のことです。SNSのテキスト付き画像や、センサーデータと画像データを組み合わせた解析など、データソースは多岐にわたります。
ビッグデータ分析のやり方・フロー
ビッグデータ分析のやり方やフローを紹介します。
ビッグデータ分析は反復的なプロセスです。そのため、分析結果を踏まえてデータの収集や前処理、分析手法を見直すことも重要です。データ主導の意思決定を実現するため、これから紹介する基本フローを継続的に回していくことが求められます。
1. 分析対象となるデータを収集
まずは分析対象となるデータを収集します。データソースは様々で、ウェブサイトの行動ログ、センサーデータ、SNSのつぶやきなどが含まれます。
データ収集の際は、構造化データだけでなく、非構造化データも取り込む必要があります。ストリーミングデータの収集も重要で、リアルタイムの分析や異常検知への活用が期待されています。
データ量が多ければ多いほど、詳細な分析が可能です。
2. 分析しやすいように前処理
収集したデータはそのままでは分析しにくい場合があります。
そこで、データの正規化、欠損値の補完、ノイズ除去などの前処理を行い、分析しやすい形式に整えます。例えばテキストデータであればベクトル化します。
3. 前処理されたデータを分析
前処理の終わったデータに対し、統計解析、機械学習、自然言語処理などの手法を用いて分析を行います。教師あり学習、教師なし学習、強化学習など、さまざまな機械学習アルゴリズムが利用できます。
分析目的に合わせて最適な手法を選択することが重要です。
4. 分析結果を可視化
分析で得られた結果を、ユーザがわかりやすい形で提示するため、可視化が重要です。
グラフや地図、ダッシュボードなどの形で視覚化します。視覚化することで、分析結果をわかりやすく伝えることができます。
ダッシュボードやレポートを自動生成し、インタラクティブな操作性を備えることも有効です。
5. 分析結果をビジネスに活用
最後に、分析結果を実際のビジネスに活用します。可視化されたデータから新たなインサイトを発見し、経営判断につなげます。
例えば、マーケティング戦略の立案、業務プロセス改善、新サービス企画、リスク予測などに役立てることが可能です。
ビッグデータの収集方法
ビッグデータを分析するにあたって、まず必要になるのが大規模データをどのように集めるかということです。代表的なデータソースと収集方法を見ていきましょう。
プライマリデータの収集
プライマリデータとは、自社内の基幹業務システム等から直接取得できるデータです。例えば、ECサイトの利用データや、工場の設備操作データがこれに該当します。
ECサイトの場合、利用者の属性、閲覧履歴、検索ワード、商品カテゴリごとのクリック数や購買数といったログデータが常時蓄積されています。これらは、分析に欠かせないプライマリデータの宝庫です。
工場のような製造現場でも、設備や機械の稼働データをPLCなどの制御装置がリアルタイムに記録し続けています。この機械データから、製造工程の改善点や製品の不良原因の特定に役立てることができるでしょう。
日常の業務遂行の過程で大規模に発生するデジタルデータこそ、企業にとってのプライマリなビッグデータソースであると位置づけられます。
セカンダリデータの収集
セカンダリデータとは、すでに誰かが分析目的で収集し公表されているデータです。政府統計や産業データ、学術論文中の匿名データセットなどが該当します。
例えば、政府統計の人口データや世帯数データは、各地域ごとの商圏規模の推計に利用することができます。人口動態や世帯類型から、商品やサービスの需要予測を導く基礎データが得られるためです。
業界団体が公表する売上高や販売量の時系列データも、マクロ的市場動向を把握する上で重要なセカンダリデータといえます。自社だけのデータではなく、競合他社との比較検討にも用いられます。
外部で公開されている既存のデータを改めて分析目線で活用することで、新たな洞察が得られるケースが少なくありません。
ウェブサイトからの収集
Webサイト上の公開データもビッグデータの有力なソースです。SNSのつぶやきデータや、食べログのレストラン評価、Wikipediaの編集履歴など、Web上のテキストデータには無限の価値があります。
例えば、X社はランダムサンプリングしたつぶやきデータを研究者向けに公開しています。トレンド分析や消費者心理の推定等、学術利用が可能です。
レビューサイトの評価コメントも、商品開発のアイデア創出の貴重なデータです。感性言語処理と呼ばれる、テキストマイニングの手法を使えば、ユーザーニーズの温度感知にも活用できます。
センサーからの収集
IoT機器や各種センサーがインターネットに接続され、環境データや機械データがクラウド上に蓄積されるようにもなっています。
例えば、工場や倉庫などに設置した温度・湿度・振動センサーから、リアルタイムで収集した機械稼働データをクラウドに蓄積し、遠隔地からでも設備監視や異常検知を行なうことができます。
センサーネットワーク化し、多点から収集したビックデータを統計的に解析することで、設備全体の最適運用に活用したり、故障を未然に防ぐ予知保全にも役立てられます。
実店舗においても、来店者の移動トラッキングや商品の撮影数をカメラとAIで計測するなど、リアルデータ収集を今までになく精密化できるようになりました。
ソーシャルメディアからの収集
SNS上にはユーザー生成コンテンツ（UGC）と呼ばれるテキストデータが大量に蓄積されています。これらは、消費者の生の声を分析する上で有益なデータです。
例えば、自社や競合他社の商品に対するツイートを感情分析して、評価度をスコア化したり、文字列に対して頻出する形態素を抽出して改善要望テーマを特定したりといったソリューションが実用化されつつあります。
アンケートやインタビュー調査で収集
消費者や従業員を対象としたアンケート調査やインタビューから得られるデータも、ビッグデータ化して分析に活用されるケースが増えています。
例えば自由回答への形態素解析やトピックモデリングといった手法を適用することで、ユーザーニーズの定性的な分類・把握が可能となります。商品企画にフィードバックするブラインドポイントの発見にもつながります。
インタビュー調査では一人ひとりのデータを聞き取って集める必要があるので、サンプル数には限界があります。そのため、少数精鋭で効率的なインサイト獲得を図ることがポイントとなるでしょう。
実験で収集
A/Bテストのように、実験的にユーザーからデータを取得する手法も増えています。少数サンプルであっても、反応データから人間行動の判断材料が得られる可能性があります。
例えば、ECサイトであれば、バナー広告のデザイン変更（A/B）や、プロモーション文言の差異（A/B）による成約率への影響を計測する、といった事例が多く見られます。
ユーザー属性がある程度絞られているメルマガ会員を使ったテストも有効です。特定顧客セグメントに対して高いマーケティング効果があるかを、データに基づいて量的に判断可能です。
サンプル数が数百〜数千程度であっても、行動判断のフィードバックを得られる場合が少なくないのです。
ビッグデータの分析・解析手法
ビッグデータから有用な情報を引き出すには、事象の定量評価や将来予測、原因究明といった様々な手法が使われます。代表的なアプローチを紹介します。
定量分析
定量分析は、数値データを集計して指標を算出し可視化する手法です。売上や来店数といった業績KPIを、時系列や地域・店舗別にモニタリングするケースが多くみられます。
例えば小売業では、全国の店舗データを日次で集計し、対前年比や前月比の売上増減を表形式やグラフで可視化します。時系列の推移から外部要因の影響を判断したり、地域ごとの特徴を把握することができます。
また、単に指標をみるだけでなく、売上の内訳を商品カテゴリや時間帯別に集計することで、より詳細な分析も可能です。高級品と低価格品で動向が異なるか、平日昼と休日夜で来客層が変わるか、といった要因分析を行います。
定性分析
定性分析は、自然言語テキストや映像・音声データを対象に傾向を探る手法です。SNSの書き込み内容を分類したり、音声データから感情を推定するケースが該当します。
例えば、SNS上の自社関連の書き込み全文データを形態素解析し、出現頻度の高い名詞や連語を抽出します。これにより、ユーザーが共感している機能や不満を感じている点を定性的に捉えることができます。
また、コールセンターとの会話音声データをAIに分析させることで、相手の感情（悲しみ・怒りなど）を推定するケースもあります。客観的な指標からでなく、言葉や表情から主観的な印象を数値化する試みです。
このような、定性データの分析は非定量的なインサイト獲得に有効ですが、分析自体が難易度が高く、解釈にも注意が必要です。
予測分析
予測分析は、過去の事例データから統計モデルや機械学習モデルを構築し、未来の売上や来店数といった値を予想する手法です。対象データの特性に応じた、予測アルゴリズムを選定することがポイントになります。
例えば、小売業であれば、店舗ごとの過去1年間の日次売上実績から、重回帰分析という手法を用いて来月の売上予測モデルを構築します。曜日や店舗特性、イベント開催などを説明変数として未来の売上値を予測します。
また、機械学習の手法を用いることで、過去データから独自に売上に影響しそうな複雑な関係式をモデル化する試みも研究されています。期間が経過しても、ある程度の予測精度を保つようにモデルを最適化していく作業が必要です。
異常検知
異常検知は、過去の正常データから外れる変動を検出することで、機械故障やサイバー攻撃といった異常事象を早期発見する手法です。設備データやサーバーログから、外れ値を統計的に拾い出します。
例えば、工場の設備データから、過去の正常稼働時の振動音の分布特性を機械学習で学習させておき、リアルタイムのセンサデータがその範囲から逸脱した場合にアラートを出す、という運用ができます。音のでる箇所の異常を素早く検知できるため、故障の早期発見・先手保全につなげることができます。
同様に、Webシステムのサーバーアクセスログから、通常と異なる大量アクセスを統計的に検知してセキュリティリスクの可能性を検出するといった利用法もあります。
関連分析
関連分析は、膨大なデータ属性間の相関パターンを自動的に抽出することで、予め気づかなかった要因間の関連性を発見する手法です。偶然性も注意深く見極める必要があります。
例えば小売業では、購買データの各商品間での相関ルールマイニングという手法を適用し、ある商品を購入した消費者が他の商品も同時に購入しやすい商品群を抽出するケースがあります。発見された商品間の相関関係をもとに、店頭レイアウトの改善の最適化に活用することができます。
一方で、統計的に偶然の相関関係が多数検出される場合もあるため、ビジネスドメインの知見と照らし合わせて解釈する必要があります。
人工知能による関連分析には、注意も必要ですが、想定外の気づきの発見には非常に有効なアプローチといえます。
ビッグデータ分析のツールと活用法
ビッグデータを分析するためには、大規模なデータを蓄積・加工できるデータ基盤と、分析作業を支援するツールが必要不可欠です。主要なものとして、データウェアハウスとBIツールがあります。
データウェアハウス/データマート（DWH）
データウェアハウスやデータマートは、複数のデータソースから大規模データを一元的に蓄積するデータベースです。配送状況、購買履歴、機械稼働ログなどの、ビッグデータを継続的に集める容器として機能します。
データウェアハウスには事実データだけでなく、分析しやすいように加工したデータマートを接続することもあります。例えば「性別、年代別、月別商品別売上データ」のように、事前に次元を切った集計データを作成しておくことで、分析作業を高速化できます。
こうしたデータ蓄積基盤の上で、売上変動の要因分析や、顧客購買履歴のプロファイリングといった分析業務を展開していきます。
ビジネスインテリジェンス（BI）ツール
BI（ビジネスインテリジェンス）ツールは、データウェアハウスなどに格納された大規模データを可視化・分析しやすくするためのツールです。必要なデータをSQLなどで抽出し、グラフやダッシュボードで分かり易く表示できます。
例えば、製造業のBIツールでは、工場の稼働センサーデータや製品の検査データを元に、製造ラインごとの不良率や操作ミス数をリアルタイムで監視できるダッシュボードを自動生成します。担当者は、データの異常値を素早く把握できるので、作業改善につなげることができます。
小売業でも、店舗・商品・日次で集計した売上データに対して、対前年比や予算との乖離といった、分析指標を視覚的に確認できるレポートを作成しています。外部環境の変化に対する売上への影響を判断材料として、今後の戦略を立てることができるのです。
ビッグデータを人が理解しやすい形に加工することで、データに基づいた合理的な意思決定を支援するのがBIツールの主目的です。
ビッグデータ分析を実際に活用している企業事例
ビッグデータ分析はさまざまな業種の企業にて活用されています。ここでは、製造業、小売業、教育分野における具体的な利用事例を紹介します。
ダイキン工業
ダイキンは空調ビッグデータの活用に積極的に取り組んでいます。
ダイキンの空調機から収集した大規模な運転データをクラウド上のビッグデータ基盤に蓄積しています。蓄積したビッグデータを機械学習で分析することで、製品の予防保全対策やパーソナライズされた最適な空調制御を実現しました。
IoT空調機から収集したビッグデータを徹底的に活用することで、製品の高付加価値化やサービス向上、マーケティング強化などを図っています。
日本気象協会
日本気象協会では、全国の観測所から収集される大規模な気象データをビッグデータとして蓄積、解析しています。
気象データだけではなく、交通データ、人流データ、農業データなど、さまざまな外部データとの統合解析を行い、渋滞予測、製品需要予測、農作物の生育予測なども実現。
気象関連の膨大なデータをビッグデータとして収集・解析し、よりよい気象サービスや気象情報の提供を推進しています。
株式会社三越伊勢丹
三越伊勢丹はYahoo! JAPANと協力し、ビッグデータとAIを活用した新商品の開発を実現。
Yahoo!のビッグデータをAI解析し、子育て中の小柄な女性の服装に関するニーズを抽出。ターゲット層との座談会を経て、ニーズに合ったロングスカートを三越伊勢丹のECブランド「arm in arm」で開発しました。
子の事例は、データ×リアルな意見のハイブリッドアプローチが成功のポイントです。
ビッグデータ分析の技術動向
最後に、ビックデータの技術動向を紹介します。様々なデータの種類が新しい手法によって日々解析されています。
人工知能（AI）の活用
ビッグデータ分析にAI技術が広く用いられるようになってきました。特に、ディープラーニングと呼ばれる深層学習の手法が注目されています。
ディープラーニングは大規模なデータから自動的に特徴を発見・抽出できるため、複雑なビッグデータの解析に適しています。画像認識や自然言語処理などの分野で活用が進んでいます。
機械学習フレームワークの進化
機械学習のアルゴリズムを実装するためのフレームワークが発達してきています。
TensorFlowやPyTorch、Scikit-learnなどのフレームワークにより、分析者は高度な機械学習モデルをコーディングしやすくなり、生産性が大幅に向上しています。
クラウドコンピューティングの活用
ビッグデータ分析には大量の計算リソースが必要です。クラウドコンピューティングにより、必要なリソースをコストを抑えつつ確保できるようになりました。
AWSやGCPなどのクラウドサービスではビッグデータ分析用の各種ツールが提供されており、導入が容易になっています。
ストリーミングデータ分析
センサーやIoTデバイスなどからリアルタイムで送信される膨大なデータ（ストリーミングデータ）を効率的に分析する技術が発達してきています。
Apache Kafkaなどのストリーミングデータ処理基盤と連携し、到着直後のデータを即座に分析できるようになっています。
まとめ：ビッグデータ分析とは新たな価値を生み出す解析技術
IoTデバイスの普及に伴い、世の中で生成され流通するビッグデータは増大しています。
ビッグデータ分析による製品やサービスの改善、新規ビジネスの発掘、業務プロセスの最適化など、様々な観点から新たな価値が生み出されることが期待されています。
このように、「新しいデータ」から「新しい価値」を生み出していくアプローチこそが、これからのビッグデータ活用の鍵となります。
Webシステム開発においても、データ分析基盤の整備が急務であると言えます。ビックデータに関して、お困りごとやご質問・ご相談は、株式会社Jiteraへぜひご相談ください。
