リアルタイム参照データ結合
ライブの市場ティックや取引イベントは正規化されて到着します。それらはさまざまな識別子、価格、数量を伴うだけで、それ以上の情報はほとんどありません。カウンターパーティや商品の詳細を含むコンテキストは、別の場所で維持される緩やかに変化するディメンションテーブルに存在します。3forgeはストリーミングイベントを到着時にこれらの参照テーブルとメモリ内で結合するため、下流の利用者は検索サービスへの往復なしに常に完全に強化されたレコードを受け取ります。
課題
薄いイベント、重い検索、古い結合
リアルタイムの利用者は、各イベントが到着した瞬間に参照データ（カウンターパーティ、商品、施設）で強化されることを必要とします。その参照データは独自の更新サイクルを持つ別々のシステムに存在するため、強化を高速かつ最新に保つことは、解決済みの問題ではなく恒常的な緊張関係となります。
検索がレイテンシを増やす
各イベントを外部の参照システムに照らして強化すると、メッセージごとに1ホップが追加され、バースト負荷時にはそれらの検索がスループットの上限になり得ます。
参照データは日中に変化する
信用格付け、コーポレートアクション、商品マスターは日中に変動するため、スケジュールで更新される参照スナップショットはライブストリームに遅れをとる可能性があります。
利用者の一貫性を保つ
リスク、サーベイランス、レポーティングがそれぞれ独自に強化を行う場合、同じレコードで一致するように結合を揃えるには意図的な取り組みが必要です。
遅れて到着する参照データ
数瞬前に作成された商品やカウンターパーティに対して、それが参照セットに現れる前にイベントが到着することがあり、それでも下流のコントロールは正しい答えを必要とします。
3forgeのアプローチ
ストリームとテーブルを、メモリ内で結合し、常に最新に
3forgeはライブフィードと参照テーブルを同じランタイムでモデル化します。Relayがイベントをリアルタイムテーブルにストリーミングする一方、参照はタイマーに基づいて更新される隣接のリアルタイムテーブルにキャッシュされます。結合はこれらのインメモリ構造に対してAMIScriptで表現され、すべてのティックで増分的に再評価され、遅れて到着する行は自動的に照合されます。すべての下流の利用者は、同じ場所から同じ強化されたレコードを参照します。
主な機能
3forgeで実現できること
インメモリのストリーム・ツー・テーブル結合
外部の検索サービスへのイベントごとのホップなしに、入ってくるすべてのイベントを常駐の参照テーブルとマイクロ秒で結合します。
ライブ参照サブスクリプション
上流の参照システムに直接サブスクライブし、発生時に挿入、更新、削除を常駐ディメンションに適用することで、日中の変更が即座に反映されます。
単一の強化された出力
リスク、BI、運用が同一に消費する1つの強化されたストリームを公開し、利用者ごとの結合のずれを排除します。
遅延到着の照合
欠落していたデータが現れたときに、参照が欠けていたイベントを自動的に一括更新します。
複数テーブルの強化
中間ステージをディスクに書き込むことなく、カウンターパーティ、商品、ブック、法人ディメンションにまたがる結合を1回のパスで連鎖させます。
特定時点でのリプレイ
元のタイムスタンプ時点の参照状態を使用して、任意の過去イベントを結合エンジンを通じてリプレイし、正確な照合と監査を実現します。
お問い合わせ
ライブでご覧になりますか？
3forgeのソリューションエンジニアによる30分間のデモを予約し、ご利用のフィードの形式でリアルタイム参照データ強化が動作する様子をご覧ください。