ゴールデンレコードの構築
ビジネスモデルにおける重要な要素（顧客、取引、資産）はいずれも、ばらばらのソースに存在しています。これらの要素はレガシーデータベース、データレイク、ベンダーシステム、トレーディングシステムに散在し、それぞれ独自の識別子体系、独自の更新頻度、独自の「真実」を持っています。3forgeはこれらの断片を単一の信頼できるレコードに統合し、夜間スナップショットとしてではなく、イベントが到着するたびに最新の状態に保ちます。
課題
1つのエンティティ、複数の真実、夜間に照合
同じ顧客、取引、資産が、CRM、注文システム、データレイク、ライブフィードにまたがる断片として存在し、それぞれが独自の識別子と更新頻度を持っています。単一の信頼できるビューを構築し、これらのソースの変化に合わせて最新に保つことは、よく整備されたマスターデータプログラムをもってしても依然として困難です。
システム間に散在する断片
エンティティはシステムごとに異なるキーと属性を持つため、確実に解決するには完全一致キーによる結合とファジーマッチングの両方が必要です。
バッチは業務に遅れをとる
夜間に構築されたレコードは、取引の決済、顧客のオンボーディング、日中の静的データの変更を経て、朝には古くなっている可能性があります。
どのソースを優先するかの決定
ソースがあるフィールドで食い違う場合、優先度、新しさ、信頼度のいずれで採用値を選ぶかは、属性ごとの意図的なモデリング判断となります。
監査のための来歴
あるフィールドがなぜその値を持つのか、どのソースがいつ設定したのかを説明することは、後から再構成するよりも、レコード構築時にリネージを記録しておくほうがはるかに容易です。
3forgeのアプローチ
ライブランタイムでの継続的なエンティティ解決
3forgeはData Gatewayを通じてすべてのソースシステムに接続し、レコードを共有データモデルに正規化したうえで、リアルタイムのインメモリ表現に対してマッチング、サバイバーシップ、リネージのロジックをAMIScriptで実行します。ゴールデンレコードは入力の変化に応じて増分的に再計算され、属性レベルの完全な来歴が監査とリプレイのためにカラムストアに保持されます。すべての利用者は、継続的に構築された同じビューを参照します。
主な機能
3forgeで実現できること
決定論的マッチングとファジーマッチング
完全一致キーによる結合と、名前、住所、識別子に対する設定可能なファジーマッチングを組み合わせ、単一のキーでは結び付けられない断片を解決します。
属性ごとのサバイバーシップ
各フィールドでどのソースを優先するかをAMIScriptのルールで表現し、優先度、新しさ、信頼度の重み付けを監査担当者が読み取れる形で明示します。
増分再計算
毎晩グローバルなバッチを実行する代わりに、ソース行が変更されたときに影響を受けるゴールデンレコードのみを再計算します。
ドメイン横断の結合
顧客、取引、口座、商品を、下流アプリケーションへ一緒に流れる連結されたゴールデンレコードへと解決します。
属性レベルのリネージ
すべてのレコードのすべてのフィールドを、寄与したソース、タイムスタンプ、サバイバーシップルールまで遡れ、3forgeのカラムストアに保持されます。
運用コックピット
未解決のエンティティ、信頼度の低いマッチ、矛盾する属性を人によるレビュー用に表示するワークベンチを構築し、ワンクリックの解決でライブレコードを更新します。
お問い合わせ
ライブでご覧になりますか？
3forgeのソリューションエンジニアによる30分間のデモを予約し、代表的なソースの一部に対して継続的なゴールデンレコード構築が動作する様子をご覧ください。