ビッグデータの5つのVと活用メリットについて
本記事では、ビッグデータとは何か、その特徴である5つのV（Volume、Velocity、Variety、Varacity、Value）について説明し、ビジネス活用のメリットについて説明します。
さらに、ビッグデータを取り扱うためには、ビッグデータ人材を確保することが重要であることとその理由、その手法として中途採用、既存人材の活用、新卒採用、ビッグデータ人材支援サービスなどの方法があることをお伝えしたいと思っています。
執筆者のご紹介
まえじま
所属：
株式会社メンバーズ メンバーズデータアドベンチャーカンパニー エンジニア事業部 データエンジニア
2024年度から幅広く顧客事業に携われるようエンジニア事業部へ異動しました。
以前まではデータアナリストとして大手アパレル小売メーカーに常駐し、顧客分析や効果検証、ダッシュボード作成・運用等をおこなってきました。
経歴：
大学でデータ解析や経営工学について学び、2022年にメンバーズに新卒入社。
入社後、データアナリストとして大手アパレル小売メーカーに常駐し、データ抽出・加工・分析・可視化、ダッシュボード作成等の業務に従事。
2024年度からエンジニア事業部に異動し、データエンジニアとして業務を行っている。
目次
01.|ビッグデータとは？
02.|ビッグデータの（ビジネス活用）メリット
03.| ビッグデータの取り扱いについて
04.|ビッグデータを取り扱うために必要な人材とは
05.|データアドベンチャー内のビッグデータ取り扱い事例
06.|まとめ
ビッグデータとは？
通常のデータとどう違うのか（５つのV）
ビッグデータは一般的に
- ・Volume（量）
- ・Velocity（速度）
- ・Variety（多様性）
の3Vから説明されています。
近年では、3Vに加えて
- ・Varacity（正確性）
- ・Value（価値）
の2Vが追加されて、ビッグデータについて言及されます。
では、1つ1つのVはどのような意味なのでしょうか？
- ・Volume（量）
ビッグデータに関する最も一般的な特徴は膨大な量のデータです。
さまざまなソースやデバイスから継続的に収集・生成される膨大な量のデータを表しています。 - ・Velocity（速度）
ビッグデータの速度とはデータが生成される速度を指しています。
データはリアルタイムorほぼリアルタイムで生成されることが多く、データ活用するためには同じ速度で処理、アクセス、分析を行う必要があります。 - ・Variety（多様性）
データは異種混合で、多くの異なるソースから、構造化・非構造化・半構造化されたものである可能性があります。
※構造化データ：スプレッドシートやリレーショナルデータベースのデータ等
非構造化データ：画像や音声ファイル、非構造テキスト等 - ・Varacity（正確性）
ビッグデータは乱雑でノイズが多くエラーが発生しやすいため、データの品質・正確性の管理が困難です。データの正確性が高いほど信頼できます。 - ・Value（価値）
収集されるデータのビジネス価値を見極めることが非常に大切です。
意思決定に役立つ分析情報を得るために、ビッグデータに適切なデータが含まれていること、効果的に分析することが必要です。
ビッグデータの（ビジネス活用）メリット
5Vから説明できるビッグデータですが、ビジネス活用はどのようなメリットがあるのでしょうか？
総務省の資料ではこのように記載されています。
図1
*図1出典：「平成25年版情報通信白書」（総務省）
https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h25/pdf/n1300000.pdf（2024年8月8日に利用）
今回は生産性向上の部分に注目したいと思います。
意思決定におけるデータ活用
何らかの「目標」を立てて、目標達成のために必要な複数の行動の選択肢の中から適切なものを選ぶことを意思決定といいます。
意思決定においては、数字的根拠あるエビデンスに基づく判断が必要不可欠です。
また、市場、消費者、顧客の価値観が大きく変化を遂げている近年では、スピーディーかつ正確な意思決定をする必要性が増しています。
そのために、データから正確な状況を分析・把握することが重要になっています。
ビッグデータの取り扱いについて
気を付けておくべきポイント
5Vで説明されるビッグデータ。
ビッグデータを活かし、データ分析をすることで意思決定に活かしていくことを前述させていただきましたが、ビッグデータを活用するうえで重要なポイントはどのような点でしょうか？
ビッグデータ活用するための3つのポイント
- ・ビッグデータを扱える人材の確保
- ・セキュリティ性能の担保
- ・プライバシー侵害を行わない
・ビッグデータを扱える人材の確保
ビッグデータを活用するには、データ分析の専門知識を持つデータアナリスト・データサイエンティスト・データエンジニアが必要となります。
これらの知識を持つ人材を自社で育成するか、外部から引き入れる必要があります。
データアナリスト・データサイエンティスト・データエンジニアには、数学・統計学・コンピューターサイエンスの知識が必要とされますが、それらのスキルを持つ人材は不足し、経済産業省は2030年までに41万～71万人のIT人材が不足する（*1）と予測しています。
*1出典：「－ IT 人材需給に関する調査 － 調査報告書」（経済産業省）https://www.meti.go.jp/policy/it_policy/jinzai/houkokusyo.pdf（2024年8月8日に利用）
・セキュリティ性能の担保
ビッグデータには重要な商業情報や個人情報が含まれている可能性があり、不適切に取り扱われると組織の信頼や評判を損なう可能性があります。
したがってデータの保護・プライバシーに関する法律の遵守は重要な課題となり、セキュリティ性能の担保ができない場合、専門業者へ相談することが必要です。
・プライバシー侵害を行わない
ビッグデータには、個人情報等のプライバシーにかかわる情報が含まれるケースもあります。
また情報の組み合わせによってプライバシーを侵害してしまうケースもあります。
そのため、プライバシーを侵害するリスクがないか十分に注意しないといけません。
ビッグデータを取り扱うために必要な人材とは
ビッグデータは膨大な量のデータです。
そんなビッグデータを取り扱う人材を有効活用すれば、ビッグデータを効果的に無駄にせず有効利用することができ、ビジネスに活用することができます。
しかし前述したように、ビッグデータを扱える人材は2030年までに不足するという予測があり、独立行政法人情報処理推進機構「DX白書2021」では、今後重要と考え育成していきたい人材の第3位がビッグデータ人材という結果が出ています。（*2）
*2 出典：「DX白書2021」（IPA）https://www.ipa.go.jp/publish/wp-dx/qv6pgp0000000txx-att/000093706.pdf（2024年8月8日に利用）
現状・今後、ビッグデータ人材の需要は高く、今後も確保しにくい状況が続くとなるとビッグデータ人材を確保する方法を把握しておかないといけません。
ビッグデータ人材を確保する方法は下記4つが考えられ、用途やケースに合わせて柔軟に活用してみてください。
- ・中途採用（キャリア採用）
- ・既存人材の活用
- ・新卒採用
- ・ビッグデータ人材支援サービス
データアドベンチャー内のビッグデータ取り扱い事例
メンバーズデータアドベンチャーでは下記のようなビッグデータ取り扱い事例があります。
インタビュー対象者を選定するために属性データや売上データをもとにPythonでクラスター分析のモデルを作成して、顧客をクラス分け。
クラス分けした結果をもとにインタビュー対象者を選定した。
【データ内容】
1.顧客属性データ
2.売上データ
3.サイト利用データ
4.メール配信データ
【データ量】
1.約4.8GB（23,000,000レコード）
2.約10.84GB（51,000,000レコード）
3.約570GB（400,000,000レコード）
4.約126GB（1,600,000,000レコード）
アプリの新機能を評価するためのダッシュボードを作成したいという要望の元、GCPサービスのDataformでデータマートを修正し、Looker（LookML）でexploreを新規作成。
結果として、アプリの新機能の効果検証に使用した。
【データ内容】
1.サイトの利用ログ
2.スタッフ情報
3.ポイント情報
【データ量】
1.約600MB（2,400,000レコード）
2.約20MB（300,000レコード）
3.約2.6GB（5,000,000レコード）
まとめ
今回はビッグデータの概要・活用メリット・取り扱い方法・人材についてお話ししました。
ビッグデータを活用することで意思決定に大きく役立ちます。
一方でセキュリティ性能の担保・プライバシー侵害を行わない・ビッグデータを扱える人材の確保といったビッグデータを取り扱うポイントが存在します。
もし、上記ポイントなどでお悩みがあれば専門家への相談も視野に入れるとよいでしょう。
\ データ活用についてのご相談はメンバーズデータアドベンチャーまで /
▶こちらも要チェック
データアドベンチャーのサービスご紹介