Jointures de données de référence en temps réel
Les ticks de marché en direct et les événements de transaction arrivent normalisés. Ils portent divers identifiants, un prix, une quantité, et pas grand-chose d'autre. Le contexte, incluant les détails de contrepartie et d'instrument, réside dans des tables de dimensions à évolution lente maintenues ailleurs. 3forge joint les événements en continu à ces tables de référence en mémoire à mesure qu'ils arrivent, afin que les consommateurs en aval reçoivent toujours un enregistrement entièrement enrichi sans aller-retour vers un service de recherche.
Le défi
Des événements minces, des recherches lourdes, des jointures obsolètes
Les consommateurs en temps réel ont besoin que chaque événement soit enrichi de données de référence (contrepartie, instrument, installation) dès l'instant où il arrive. Ces données de référence résident dans des systèmes distincts ayant leurs propres cycles de mise à jour, de sorte que garder l'enrichissement à la fois rapide et à jour reste une tension permanente plutôt qu'un problème résolu.
Les recherches ajoutent de la latence
Enrichir chaque événement à partir d'un système de référence externe ajoute un saut par message, et en cas de pic de charge ces recherches peuvent devenir le plafond de débit.
Les données de référence changent en cours de journée
Les notations de crédit, les opérations sur titres et les référentiels d'instruments évoluent pendant la journée, de sorte qu'un instantané de référence rafraîchi selon un calendrier peut prendre du retard sur le flux en direct.
Garder les consommateurs cohérents
Lorsque le risque, la surveillance et le reporting enrichissent chacun de leur côté, aligner leurs jointures pour qu'ils s'accordent sur le même enregistrement demande un effort délibéré.
Données de référence arrivant en retard
Un événement peut arriver pour un instrument ou une contrepartie créé quelques instants plus tôt, avant qu'il n'apparaisse dans l'ensemble de référence, et les contrôles en aval ont tout de même besoin d'une réponse correcte.
L'approche 3forge
Flux et tables, joints en mémoire, toujours à jour
3forge modélise les flux en direct et les tables de référence dans le même runtime. Le Relay diffuse les événements vers des tables en temps réel, tandis que la référence est mise en cache dans des tables en temps réel adjacentes rafraîchies par minuterie. Les jointures sont exprimées en AMIScript sur ces structures en mémoire et réévaluées de façon incrémentale à chaque tick, les lignes arrivant en retard étant réconciliées automatiquement. Chaque consommateur en aval lit le même enregistrement enrichi au même endroit.
Capacités clés
Ce que vous pouvez bâtir avec 3forge
Jointures flux-vers-table en mémoire
Joignez chaque événement entrant aux tables de référence résidentes en microsecondes, sans saut par événement vers un service de recherche externe.
Abonnements de référence en direct
Abonnez-vous directement aux systèmes de référence en amont et appliquez insertions, mises à jour et suppressions à la dimension résidente à mesure qu'elles surviennent, afin que les changements intrajournaliers soient visibles immédiatement.
Une sortie enrichie unique
Publiez un seul flux enrichi que le risque, la BI et les opérations consomment de façon identique, éliminant la dérive des jointures par consommateur.
Réconciliation des arrivées tardives
Met à jour en masse les événements aux références manquantes automatiquement lorsque les données manquantes apparaissent.
Enrichissement multi-tables
Enchaînez les jointures entre les dimensions de contrepartie, d'instrument, de book et d'entité juridique en une seule passe sans écrire d'étapes intermédiaires sur disque.
Rejeu à un instant donné
Rejouez n'importe quel événement historique à travers le moteur de jointure en utilisant l'état de référence tel qu'il était à l'horodatage d'origine, pour une réconciliation et un audit précis.
Commencer
Prêt à le voir en action ?
Réservez une démo de 30 minutes avec un ingénieur solutions 3forge et voyez l'enrichissement de données de référence en temps réel s'exécuter sur votre type de flux.