見出し画像

CDP構築時の主な流れと手順

こんにちわ、DXnoteです。

DXnoteでは、企業のDX推進に貢献するため、データ基盤(DWH/CDP)・マーケティング基盤(MA/接客など)の側面から情報発信をしています。

CDPを構築するにあたり、具体的にどのようなプロセスが発生するのでしょうか?構築プロセスは基本的には開発領域ですので、作業自体はエンジニアが行う仕事になりますが、プロジェクトを推進するにあたっては大枠のイメージだけでも持っておかないと必要な人員や期間を考えることはできません。

本記事ではCDP構築時に発生する作業工程について、プロジェクトマネジメントをされる担当者が知っておくべきことにとどめてご紹介していきます。

|構築時の主な流れ

CDP構築時の大まかな流れを絵にすると、基本的には下図のような6つのプロセスに分けられます。

画像1

出典 著者名:小畑 陽一 (著), 菊池 達也 (著), 仁藤 玄 (著) 書名:ユーザー起点マーケティング実践ガイド 出版社:マイナビ出版社 出版年:2021 該当ページ:70

上記の流れをそれぞれ具体的に見ていきましょう。

|①CDP基盤設計

まずは既存データの確認を行い、CDPでデータを活用するためのシステム連携の構造を設計します。自社が保有するデータの種類を洗い出し、データ同士の連携方法を確認し、データ活用基盤の構成をどのようにつくるか、という設計を指します。※以前の記事でも書いていますので、まだご覧になっていない方は併せてお読みください。

|②データ取得設計

CDP基盤設計の次に、CDPにどのようにデータを取り込むか、データ取得設計を行います。

▼CDPへのデータ取込方法
CDPに取り込むデータは、さまざまな外部システムやファイルストレージに存在しており、各データソースからAPIバッチなど連携手法を使って連携していくわけですが、それぞれどの手法が最適であるか設計していきます。
まず、そこで便利なのがCDPの重要な機能の一つである連携用のコネクター機能です。
例えば、Treasure Data CDPやTealium Customer Data Hubには多数の連携用のインターフェース(コネクター)が標準で提供されています。
クラウドストレージであるAmazon S3などからの取り込みは、開発をせずとも画面に必要な項目を入力することで、容易にデータを取り込むことができ
ます。

画像2

出典 著者名:小畑 陽一 (著), 菊池 達也 (著), 仁藤 玄 (著) 書名:ユーザー起点マーケティング実践ガイド 出版社:マイナビ出版社 出版年:2021 該当ページ:72

ただし、ツールによってはコネクターが標準で用意されていない場合もあります。
その場合は、API(Webhook、ポストバック含む)を利用したり、別途バッチを用意してCDPへデータを格納することになります。
この場合は、APIやバッチの開発工数が発生することもあります。
各種データ連携方法の主な種類と使用する条件・特徴は下記のようになります。
データの活用目的などからどのような連携が適切かを判断していくといいでしょう。

画像3

出典 著者名:小畑 陽一 (著), 菊池 達也 (著), 仁藤 玄 (著) 書名:ユーザー起点マーケティング実践ガイド 出版社:マイナビ出版社 出版年:2021 該当ページ:72

|③データインポート(データの取込み)

データ取得設計が完了したら、データインポート(データの取込み)を行います。
データ取得設計をもとに取込作業を行い、データの確認や取り込み作業の自動化(ジョブフロー)を行っていくのですが、いくつか注意すべき点についてまとめました。

▼CDPへ取り込むデータの精査
CDPへの連携を行う際、CDP本体の制限(契約プランなど)によっては、データを取り込める容量の上限、1回の処理で取り込めるレコード数に制限が設けられている場合があります。
そのため、CDPにデータを取り込むにあたり、データの精査を行う必要があります。

データを蓄積するにあたっての段階として「データレイク」「データウェアハウス」「データマート」というデータの加工・処理があります。

画像4

出典 著者名:小畑 陽一 (著), 菊池 達也 (著), 仁藤 玄 (著) 書名:ユーザー起点マーケティング実践ガイド 出版社:マイナビ出版社 出版年:2021 該当ページ:50

データレイクの状態からすべて取り込める場合もあれば、データウェアハウスの状態で取り込むなど、データ量や活用用途に合わせて調整を行っていきます。

CDPに取り込むデータ量を調整する場合の精査項目の一例を次に示します。

▼精査の方法例

● 取り込む「期間」を絞る
 └ 直近3年間分 など
● 取り込む「条件」を絞る
 └ アノニマスなデータを含めない
 └ 削除フラグが立っているデータを含めない など
● 取り込む「項目」を絞る
 └ 値がほぼ入らない項目を削る
 └ 同じ値が入るデータ項目を削る
 └ 分析で利用しない項目を削る など

|④データウェアハウス構築

データインポートが完了したら、データ活用基盤内に各データソースが格納されたデータレイク(洗練されていない生データ)の状態となります。
データレイクのままではデータ分析・活用が難しいため、データウェアハウスに加工・変換し、構造を統一することで分析などに活用しやすい形にします。

データレイクは外部システムやファイルから連携されるデータに合わせてつくられるため、スキーマ(テーブルの構造)もそのデータに合わせて設定されることになります。
一方で、データウェアハウスは事前にスキーマを定義し、その定義に合わせることで必要なデータ・決まった構造でデータを蓄積します。

また、少し込み入った話になりますが、データウェアハウスでは基本的には正規化(データの重複をなくし整合的にデータを取り扱えるよう設計すること)を行わず、非正規化された状態となります。
これは、分析・解析を行う際に多くのデータを参照する際、データ同士の結合をできる限り減らすことで、データを単純化し、処理速度やメモリ使用量の削減などのパフォーマンスを向上させるためだ覚えておけば大丈夫です。

画像5

出典 著者名:小畑 陽一 (著), 菊池 達也 (著), 仁藤 玄 (著) 書名:ユーザー起点マーケティング実践ガイド 出版社:マイナビ出版社 出版年:2021 該当ページ:75

|⑤データマート構築

データウェアハウスを構築したら、顧客にデータを統合するため、「統合顧客データマート」を構築します。

統合顧客データマートは、すべての顧客を一意化したIDリストに対して、「どのような顧客か」という属性情報と「どのような行動をしているか」という行動情報を顧客に紐づけたデータテーブルを指します。
つまり、統合顧客データマートを参照すれば「個客がどのような人物で、どのように行動しているか」が把握できるようになることを目指します。

データは主に「マスターデータ」と「トランザクションデータ」に分かれています。※「マスターデータ」と「トランザクションデータ」についての詳しくは過去の記事をご覧ください。


統合顧客IDリストに対して、マスターデータである顧客リストから「性別、年齢、居住地」などの属性情報を付与します。
トランザクションデータからは、購買履歴から「購入回数、購入金額、平均購入金額」、アクセスログから「Webサイト訪問回数、最新Webサイト訪問日」、キャンペーン応募ログから「キャンペーン応募有無」などの行動情報を付与します。
データ項目は一例ですが、実際には100カラム以上で構成されることもあります。

画像6

出典 著者名:小畑 陽一 (著), 菊池 達也 (著), 仁藤 玄 (著) 書名:ユーザー起点マーケティング実践ガイド 出版社:マイナビ出版社 出版年:2021 該当ページ:76

また、この統合顧客データマートを活用して分析や施策を実行するため、これらを想定してデータ項目を作成します。
例えば、アクセスログや購買履歴に関して、「直近30日以内の訪問回数」や「特定ドメインの訪問回数」「特定商品カテゴリの購買回数」など、さまざまな条件で行動量を集計したカラムを作成する必要があります。

画像7

出典 著者名:小畑 陽一 (著), 菊池 達也 (著), 仁藤 玄 (著) 書名:ユーザー起点マーケティング実践ガイド 出版社:マイナビ出版社 出版年:2021 該当ページ:77

ここでよくある失敗として、最初から完璧なデータマートを目指しすぎて要件に時間がかかりすぎてしまうことがあります。
まずは優先度の高い分析や施策の実現に必要なデータ項目を設定した統合顧客データマートを作成しましょう。
その後、新たに実現したい分析や施策に足りない項目が出てきたときに、項目を拡張することをおすすめします。

統合顧客データマートでは顧客の状態を可視化すること、その顧客の状態に合わせたマーケティングコミュニケーションをスムーズに実行しやすくすることが目的となります。
そのため、統合顧客データマートで定義・集計するデータ項目は、そのデータを利用して顧客をターゲティングするなど、マーケティング施策に活かせるものを設計しましょう。

|⑥エクスポートデータ・コネクター作成

CDP内にデータマートが構築されたら、各種マーケティングツールへの連携を行います。

各種ツールと連携することで「購入回数が1回のみでWebによく訪れる顧客」や「半年以内にメルマガを開封したが購入していない顧客」など、特定の顧客セグメントに対してマーケティング施策を行うことができます。
CDPからデータを連携するにあたり、このような施策を行うために必要なデータを考えなければなりません。
統合顧客データマート上で、すでに必要なデータが集まっていることが多いですが、改めて施策を行う上でデータマート内の項目に不足がないかチェックが必要です。
またツールによっては、ツール側で用意されているデータ項目もあるため、あらかじめ確認しておきましょう。

基本的にはバッチ処理を行い、日次や数時間おきの頻度でデータを連携します。
データ活用のビジネス要件に合わせて連携頻度を設定します。
顧客セグメントにおけるリアルタイム性を求めるのであれば、CDPツールによって対応可否が分かれますので、ツール選定の参考にしましょう。

また、MAやWeb接客などのマーケティングツールのログデータ(施策結果など)をCDPに返すよう設計することも大切です。
例えば、メール配信時には顧客ごとの開封/クリックデータや、Web接客時には顧客ごとに接触した回数や施策利用有無などのデータをCDPに返します。顧客ごとに施策が何回当たったか、施策に対して反応したかどうか(メール開封、クリックなど)が判別できることで、過度な訴求を抑制できたり、より柔軟にコミュニケーションを行えます。

画像9

出典 著者名:小畑 陽一 (著), 菊池 達也 (著), 仁藤 玄 (著) 書名:ユーザー起点マーケティング実践ガイド 出版社:マイナビ出版社 出版年:2021 該当ページ:83

|まとめ

いかがでしたでしょうか?
この記事でCDP構築のプロセスの大枠をご理解いただけたのであれば嬉しい限りです。
ただ、実際に上記を実践してみると確認や手間にパワーがかかりますし、実際の作業現場では更に具体的な手法や細かな課題が発生してきます。
データの持ち方も会社それぞれですので、前例のない根気のいる作業であることは間違いないでしょう。

細かい部分もお知りになりたい方はぜひ↓↓下記の無料診断↓↓なども試してみていただけたら幸いです。

ここまでお読みいただきありがとうございました!

ーーー

「CDP無料診断」やっています!マーケティング課題に対してCDP活用をお考えの皆様へ、目的実現のために在るべきデータ構造を貴社に合わせて弊社が診断・ご提案いたします。


ありがとうございます。よろしければシェアもお願いします♬
12
CRMエージェンシーとして、クライアント企業のオンラインとオフラインの統合データ分析・コミュニケーション施策立案・実行PDCA運用などのデジタルマーケティング活動支援を行うUNCOVER TRUTHがノウハウや実例を織り交ぜてお届けする、DXマーケ担当者を応援するメディアです。