App Engine

Live Data

ライブ市場フィード、当日内イベント、ウェアハウスとレガシープラットフォームからの休止データが集約される統合データファブリック。管理され、クエリ可能で、リアルタイムの意思決定に対応しています。

データ基盤

ライブフィードと休止データが収束する場所

金融機関では、データは純粋に「リアルタイム」でも純粋に「履歴」でもありません。リスク、トレーディング、コンプライアンス、オペレーションは、ライブ市場フィード、当日内イベント、ウェアハウスとレガシープラットフォームに保持される大規模な休止データの継続的な相互作用に依存しています。これらのソースを別々のドメインとして扱うと、意思決定を遅らせ、アーキテクチャを複雑にし、オペレーショナルリスクをもたらす人工的な境界が生まれます。その結果、金融はますます、ライブ情報と履歴情報を一つのものとしてアクセス、クエリ、実行できる単一の一貫したデータレイヤーを求めています。

この文脈でのライブデータとは、権限とセキュリティポリシーによって管理された、フィード、データベース、レガシーインフラにわたるストリーミングデータセットと休止データセットを交差させる統合アクセスポイントを意味します。このデータレイヤーは受動的ではありません。複合イベント処理を通じてビジネスロジックで生データを強化し、システムが条件を検出し、シグナルを集計し、イベントが展開するにつれて決定論的に反応することを可能にします。そして、リアルタイムダッシュボードやレポートからPython、ODBC、C++アプリケーションへのストリームまで、多くの統合とインターフェースを通じてユーザーとエージェントがデータを利用できるようにします。金融において、このようなライブデータ基盤はもはや差別化要因ではなく、応答性、監査可能性、リアルタイムの意思決定に適したシステムを構築するための前提条件です。

データ接続性

データの消費とアクセスの仮想化

35以上のデータベースアダプターと15以上のフィードアダプターにより、3forgeはほぼあらゆるソースからリアルタイムおよび休止データを消費し、データコンシューマーへの固有のアクセスポイントとして提供できます。ダウンストリームアプリを特有のデータ形式から保護することで、3forgeはプロジェクトのデプロイを加速し、明示的なアクセス制御とパフォーマンス管理を実装します。3forgeに取り込まれたデータは、REST API、JDBC、ODBC、MCP、および.Net、Python、Java、RPCの双方向ライブラリを通じて、3forge RelayとExternal Systemsの間でクエリできます。

データがUIスクリーン上のユーザー、PDFおよびメールレポート、AI言語モデル、またはサードパーティアプリケーションによって消費されるかにかかわらず、3forgeは異なるデータセットをメッシュ化し、データが変化するにつれて更新される派生アナリティクスで強化し、きめ細かい権限で保護できます。

3forgeデータ接続性 — フィード、データベース、アクセスプロトコル — 3forgeは35以上のデータベースアダプターと15以上のフィードハンドラーに接続し、すべてのダウンストリームコンシューマーへの統合された管理されたアクセスポイントを提供します

対応データベースアダプター

AMI DB
Flat File
AMI Shell
Excel
Fred
Quandl
Oracle
Msft SQL
MySQL
Apache Spark
SAP Sybase
SybaseIQ
KX
Hadoop
Mongo DB
R
Impala
PostgreSQL
Phoenix
Chronicle Queue
Netezza
MemSQL
Couchbase
SQLite
REST API
Snowflake
Hazelcast
IBM DB2
Greenplum
Symphony
HP Vertica
Hive
Deephaven
Bloomberg
Apache Ignite

対応フィードハンドラー

SingleStore
Solace
Tibco
RabbitMQ
KX Stream
Chronicle Queue
IBM MQ
OneTick
FIX
Amazon SQS
Aeron
Kafka
ActiveMQ
60 East-Amps
BPIPE
QuantHouse
Google RPC

プログラマティックアクセス

REST API
JDBC
.NET
Python
Java
ODBC
Google RPC
MCP

独自カラム型データベース

リアルタイムおよび履歴テーブル

独自のカラム型データベースにより、3forgeはリアルタイムテーブル(RDB)と履歴テーブル(HDB)を含むストリーミングおよび時間に敏感なワークロードに対して、業界トップクラスの分析柔軟性を提供します。3forgeはソフトウェアエンジニアが遭遇する困難なデータ問題に対処するユニークな機能を追加しています。

リアルタイムストリーミング分析

デルタベースのトリガーが高速かつ効率的な集計、結合、射影などを提供します。

ドキュメント

直感的かつ包括的な言語

Java/.NET構文とSQLおよびPythonの組み合わせ。

ドキュメント

レプリケーションとスケーラビリティ

追加コードなしでレプリケーション、処理シャーディング、ウェブ負荷分散を有効化します。

ドキュメント

履歴テーブルへのストリーミング

即時一貫性を持つ履歴テーブルへのストリーミング挿入をサポートします。

ドキュメント

履歴テーブルのスパース更新

アドホックベースで挿入、更新、削除を行う機能。

ドキュメント

高度なコンフレーション

指数的な速度でデータを消費し、ダウンストリームコンシューマー向けにダウンサンプリングします。

ドキュメント

セルフディスカバリースキーマ

動的なリモートデータソースからのスキーマ更新を自動受け入れします。

ドキュメント

REST管理・クエリAPI

監視・サポート活動を自動化し、カスタムエンドポイントを作成します。

ドキュメント

リモートプロシージャコール

リモートシステムの機能を呼び出す機能を提供します。

ドキュメント

デバッガーと直感的なエラーコード

ブレークステートメントを追加し、カスタムロジックをステップ実行します。

ドキュメント

テストとコードカバレッジツール

ランタイムを含む呼び出されたコードの強力な分析。

ドキュメント

クエリプランナー

最適化された実行を達成するためのプリコンパイラーとプランナー。

ドキュメント

マルチスレッドクエリ

マルチユーザー環境での高性能データアクセス。

ドキュメント

手間のかからない履歴テーブルスキーマ変更

データのバックフィルなしで即座にスキーマを変更します。

ドキュメント

3forge データベース運用エンベロープ

> 10T 履歴データベース
容量（行数）

> 1,000 履歴データベース
カラム数

> 2M リアルタイムスループット
（オペレーション/秒）

< 100µs リアルタイムデータベース
レイテンシ

10兆行とはどれくらいの量か?

米国市場での株式取引と気配値の統合フィード（SIP）は、1取引日に約25億のSIPメッセージがあります。1行が1つの統合SIPメッセージ（取引+気配値）に相当する場合、10兆行は4,000取引日、つまり16年分を表します。同様に、オプション市場データは活発な市場ではOPRAで1日約2,000億の気配値更新と非常に密度が高く、そのめまぐるしいペースでも10兆の気配値更新は2.5ヶ月分のオプション気配値トラフィックになります。

スケーラブルな変換

リアルタイムデータ集計

3forgeプラットフォームは、時間に敏感な大規模データ変換と比較に特に適しています。固有のモジュール性により、特定のユースケースに合わせて調整できる幅広いデプロイ設定が可能です。さらに、3forgeの価格モデルは、コストを予測可能かつ手頃に保ちながら、実質的なスケーラビリティと柔軟性を必要とする企業に特に有益です。

価格フィード集計の例

3forge Centerは異なるフィードから市場データを受信し、リアルタイムでストリームを照合し、最速の価格をダウンストリームシステムに伝播できます。これらの取引所フィードは、追加の冗長性のためにデータセンター間で分割される場合があります。

パフォーマンス技術

最大データ負荷のための最適化

3forgeは、データ転送の速度の必要性とデータフローを遅らせる可能性のある技術的制約のバランスをとるために、いくつかの高度なアプローチを活用しています。

デルタベース処理

更新が発生するたびにデータセット全体を再処理または再送信するのではなく、3forgeはデータの変更（デルタ）のみを処理します。このアプローチはリアルタイムシステムでのパフォーマンスと効率を劇的に向上させます。

コンフレーション

階層型アーキテクチャ全体でデータをレプリケートする際、3forgeはすべての更新を送信するか、合意された間隔で最新のものを送信するように設定できます。これにより中間値が効果的に破棄され、ダウンストリームコンシューマーの負担が劇的に軽減されます。

要約

3forgeは、データ量を圧縮し、トレンド分析を可能にし、移動平均などの時間ベースの分析をサポートするために、平均、合計、カウント、最小値、最大値などの通常およびデルタベースの要約メトリックを計算・保存できます。

デコレーション

3forgeはデータ操作中に呼び出されるイベント駆動トリガーを通じた自動データデコレーションをサポートし、テーブルレベルの変更に応じてデータの動的強化、検証、伝播を可能にします。

イベント駆動ロジック

複合イベント処理

3forgeはリアルタイムテーブルとデータベースネイティブの機能を提供し、データ更新に基づいてビジネスロジックをその場で実行できます。コンフレーションと組み合わせることで、これらのトリガーは必要な量の作業だけをスマートかつ効率的に処理できます。

以下のトリガータイプがすぐに使えます:

集計

ソースデータが変更されるにつれて集計テーブルを作成・更新します。

射影

自動的にフィルタリングまたは変換された射影テーブルを維持します。

結合

ソース更新全体で結合テーブルを作成し同期を維持します。

デコレート

別のテーブルからの追加フィールドでデータを強化します。

リレー

3forge Relayを通じてダウンストリームシステムにメッセージを送信します。

AMIScript

挿入、更新、削除のいずれかのアクティビティでカスタムスクリプトを実行します。

トリガー構文リファレンス

スクリプトトリガー

Create trigger <trigger_name>
Oftype Amiscript
ON <table_name>
[PRIORITY priority]
Use...

集計トリガー

Create trigger <trigger_name>
Oftype Aggregate
ON <source_table>,
   <target_table>
Use...

射影トリガー

Create trigger <trigger_name>
Oftype Projection
ON <source_tables>,
   <target_table>
Use...

スケールでのカラム型アーカイブ

アーカイブ用ペタバイト履歴データベース

最高のクエリパフォーマンスはリアルタイムデータベースで達成されますが、3forgeは数兆行を保持できるカラム型履歴テーブルも提供しています。ディスクに永続化され、パーティショニングをサポートするこれらのテーブルは、高速検索を伴う大量データの高速保存用に設計されており、リアルタイムテーブルと同じSQL構文を使用します。

履歴テーブルからのデータは、他のテーブルとの結合を含む全範囲のクエリ最適化にアクセスできるリアルタイムテーブルにクエリして読み込むことができます。

3forgeは履歴データベース（HDB）で以下の機能を独自にサポートしています:

大規模カラム数と重いデータ型

クエリパフォーマンスやストレージ効率を損なうことなく、BLOBフィールドを含む大規模カラム数と重いデータ型をサポートします。

設定可能なストレージ戦略

最適なパフォーマンスのための4つのストレージタイプを含む、各カラムの設定可能なストレージ戦略。システムは実際のデータ使用量に基づいてディスク効率とクエリ速度のためにパーティション単位で最適化時にストレージタイプを動的に適応させます。

タイプ	説明
FLAT	INT、FLOAT、DOUBLEなどの固定長タイプ
VARSIZE	最大1TBのSTRINGとBINARYなどの可変長タイプ
BITMAP	低カーディナリティ文字列に効率的
PARTITION	行を分離されたパーティションに整理

スキーマ管理

履歴パーティションに影響を与えることなくカラムを追加、削除、変更します。パーティションカラムは不変であるため、テーブルスキーマを設計する際は慎重な計画が不可欠です。HDBは古いパーティションが新しいスキーマにシームレスにマッピングされ、履歴整合性を保ちます。

行レベル操作

HDBはパーティション最適化を保持しながらUPDATEおよびDELETE句をサポートします。パーティション内の重要な変更は自動的に再最適化されます。ソートインデックスによりクエリパフォーマンスがさらに向上します。

ストリーミング更新からのリアルタイムデータアーカイブ

イベント、バッチ、タイマー駆動のアプローチを使用して、リアルタイムテーブルからHDBへシームレスにデータを移動します。これにより、進行中の操作を中断することなく履歴レコードが最新の状態に保たれます。

HDBアーキテクチャ: リアルタイム取り込みを持つパーティション型カラムストレージ

レジリエンスとスループット

信頼性の高いデータスケーリング

高速データセットを処理・アーカイブする際、3forgeはパフォーマンスとレジリエンスの向上を簡単かつ安全に行えます。

データベースレプリケーション

3forgeはシンプルな設定でプライマリとウォームスタンバイCenterデータベース間のシンプルで効果的なデータレプリケーションを提供します。スタンバイはプライマリの正常性を確認し、障害の場合はデータがすでにメモリに読み込まれた状態で引き継ぐことができます。

データベース負荷分散

レプリケーションはRelayのルーティングルールに基づいて複数のCenter間での負荷分散にも使用できます。これらの複数のCenterは冗長性とスケーラビリティを向上させます。プラットフォームの柔軟性により、マルチリージョンやグローバルレプリケーションなどのより高度なデプロイが可能です。

アーキテクチャ回復性

グローバルインフラ回復性

階層型3forgeアーキテクチャのすべての側面は、冗長性と回復性のためにデータレプリケーションを実装できます。

フィードとデータソースアダプターの多様性

リモートシステムとの間でデータのソーシングとアーカイブを可能にします。

3forge Relay

ホット-ホットおよびホット-ウォーム冗長シナリオのために複数のCenterにデータを配信できます。

3forge Center

作業を分散するか、ホットまたはウォームスタンバイを提供するために一緒に設定できます。

3forge Webコンポーネント

複数のCenterに接続し、分散ユーザープロファイル管理をサポートできます。

3forge Web Balancer

単一のIPアドレスで複数のウェブを使用し、利用可能なWebキャパシティに基づいてユーザーをルーティングできます。

階層型3forgeアーキテクチャ: アダプター、Relay、Center、Web Balancer

インテリジェントディスパッチ

動的メッセージルーティングとマップリデュース

3forgeは、コンテンツ、負荷、またはカスタムロジックに基づいてメッセージを特化した処理センターにインテリジェントに配信するダイナミックルーティングルールを有効にし、すべてリアルタイムで設定可能です。各センターはワークロードの一部を独立して処理し、その後結果がマップリデュース操作を通じてシームレスにマージされます。このアーキテクチャは、分散システム全体で最適なリソース活用、並列処理、高性能集計を保証します。

分散センター全体の動的ルーティングとマップリデュース — ルーティングルールはコンテンツまたは負荷に基づいてメッセージを専門センターに配信し、結果は高性能集計のためにマップリデュースを介してマージされます

耐久性と継続性

保証付きメッセージング

保証付きメッセージングは、システム負荷や一時的なネットワーク状況に関係なく、すべての重要な更新が永続的に保存され確実に配信されることを保証します。メッセージは先行書き込みログ（WAL）にジャーナリングされ、一時的にオフラインになっているものを含むダウンストリームセンターが再接続時に失われたデータを回復・再生できます。保証付きメッセージングは重複抑制を行いませんが、リアルタイムのトレーディング、リスク、コンプライアンスシステムに必要な耐久性と継続性を提供します。

保証された配信のための先行書き込みログジャーナリングとダウンストリーム再生 — WALにより、ダウンストリームセンターはライブ操作を中断することなく、再接続時に失われたメッセージを回復・再生できます

フライト中エンリッチメント

メッセージ変換とルーティング

3forgeは強力なメッセージ変換機能を含み、企業がカスタムコードを書くことなくメッセージをフライト中に検査、変更、強化、またはフィルタリングできます。これは、FIXやその他の金融プロトコルで特に価値があり、異なるカウンターパーティのサポート、フォーマットの正規化、機密フィールドのリダクション、またはコンテンツに基づくルーティングに動的な調整が必要な場合があります。宣言型ルールとスクリプトのサポートにより、3forgeは進化するトレーディングとコンプライアンスのニーズに合わせた迅速で柔軟なロジックを可能にします。

メッセージ変換パイプライン — フライト中の検査、強化、フィルタリング、ルーティング — 変換ルールはFIXおよび金融プロトコルメッセージにフライト中で動作し、カスタムコードなしに正規化、リダクション、コンテンツベースのルーティングを可能にします

次のステップ

Live Dataが最も要求の高いフィードを処理する様子を見てみましょう。