Live Data
Un tissu de données unifié où les flux de marché en direct, les événements intrajournaliers et les données au repos des entrepôts et plateformes legacy convergent : gouvernés, interrogeables et prêts pour la prise de décision en temps réel.
La fondation des données
Là où les flux en direct et les données au repos convergent
Dans les institutions financières, les données ne sont jamais purement « en temps réel » ou purement « historiques ». Le risque, le trading, la conformité et les opérations dépendent tous de l'interaction continue entre les flux de marché en direct, les événements intrajournaliers et les vastes réserves de données au repos détenues dans les entrepôts et les plateformes legacy. Traiter ces sources comme des domaines séparés crée des frontières artificielles qui ralentissent la prise de décision, compliquent les architectures et introduisent des risques opérationnels. En conséquence, la finance attend de plus en plus une couche de données unique et cohérente où les informations en direct et historiques peuvent être consultées, interrogées et exploitées comme un tout.
Les données en direct, dans ce contexte, désignent un point d'accès unifié qui intersecte les jeux de données en streaming et au repos à travers les flux, les bases de données et les infrastructures legacy, gouverné par des droits d'accès et des politiques de sécurité. Cette couche de données n'est pas passive : elle enrichit les données brutes avec de la logique métier grâce au traitement d'événements complexes, permettant aux systèmes de détecter des conditions, d'agréger des signaux et de réagir de manière déterministe à mesure que les événements se déroulent. Elle met ensuite les données à disposition des utilisateurs et des agents via de nombreuses intégrations et interfaces, des tableaux de bord et rapports en temps réel aux flux vers les applications Python, ODBC et C++. En finance, une telle fondation de données en direct n'est plus un différenciateur : c'est un prérequis pour construire des systèmes réactifs, auditables et adaptés à la prise de décision en temps réel.
Consommation des données et virtualisation de l'accès
Avec plus de 35 adaptateurs de bases de données et 15 adaptateurs de flux, 3forge peut consommer des données en temps réel et au repos depuis pratiquement n'importe quelle source, et les présenter comme un point d'accès unique aux consommateurs de données. En isolant les applications en aval des formats de données idiosyncratiques, 3forge accélère les déploiements de projets, met en place un contrôle d'accès explicite et une gestion des performances. Une fois dans 3forge, les données peuvent être interrogées via l'API REST, JDBC, ODBC, MCP, ainsi que via des bibliothèques bidirectionnelles en .Net, Python, Java et RPC entre les Relays 3forge et les systèmes externes.
Que les données soient consommées par des utilisateurs sur des écrans d'interface, des rapports PDF et e-mail, des modèles de langage IA ou des applications tierces, 3forge peut combiner différents jeux de données, les enrichir avec des analyses dérivées mises à jour à mesure que les données changent, et les protéger avec des droits d'accès granulaires.
Adaptateurs de bases de données pris en charge
- AMI DB
- Flat File
- AMI Shell
- Excel
- Fred
- Quandl
- Oracle
- Msft SQL
- MySQL
- Apache Spark
- SAP Sybase
- SybaseIQ
- KX
- Hadoop
- Mongo DB
- R
- Impala
- PostgreSQL
- Phoenix
- Chronicle Queue
- Netezza
- MemSQL
- Couchbase
- SQLite
- REST API
- Snowflake
- Hazelcast
- IBM DB2
- Greenplum
- Symphony
- HP Vertica
- Hive
- Deephaven
- Bloomberg
- Apache Ignite
Gestionnaires de flux pris en charge
- SingleStore
- Solace
- Tibco
- RabbitMQ
- KX Stream
- Chronicle Queue
- IBM MQ
- OneTick
- FIX
- Amazon SQS
- Aeron
- Kafka
- ActiveMQ
- 60 East-Amps
- BPIPE
- QuantHouse
- Google RPC
Accès programmatique
- REST API
- JDBC
- .NET
- Python
- Java
- ODBC
- Google RPC
- MCP
Tables en temps réel et tables historiques
Avec sa base de données colonnaire propriétaire, 3forge offre une flexibilité analytique de pointe pour les charges de travail en streaming et sensibles au temps, notamment les tables en temps réel (RDB) et les tables historiques (HDB). 3forge ajoute des fonctionnalités uniques qui répondent aux problèmes de données difficiles rencontrés par les ingénieurs logiciels.
Analytique de streaming en temps réel
Les déclencheurs basés sur les deltas fournissent des agrégations, jointures, projections et plus encore, de façon rapide et efficace.
DocsRéplication et évolutivité
Activez la réplication, le partitionnement de traitement et l'équilibrage de charge web sans code supplémentaire.
DocsStreaming vers les tables historiques
Prise en charge des insertions en streaming dans les tables historiques avec cohérence immédiate.
DocsMises à jour éparses des tables historiques
Possibilité d'insérer, de mettre à jour et de supprimer de manière ad hoc.
DocsConflation avancée
Consommez des données à des taux exponentiels et sous-échantillonnez pour les consommateurs en aval.
DocsSchémas auto-découverts
Accepte automatiquement les mises à jour de schéma depuis des sources de données distantes dynamiques.
DocsAPI REST d'administration et de requête
Automatisez les activités de surveillance et de support, et créez des endpoints personnalisés.
DocsAppels de procédures distantes
Permet d'invoquer des fonctionnalités dans des systèmes distants.
DocsDébogueur et codes d'erreur intuitifs
Ajoutez des points d'arrêt et avancez pas à pas dans la logique personnalisée.
DocsOutils de test et de couverture de code
Analyse puissante du code invoqué, incluant les temps d'exécution.
DocsRequêtes multi-threads
Accès aux données haute performance dans des environnements multi-utilisateurs.
DocsModifications de schéma des tables historiques sans friction
Modifiez les schémas instantanément sans avoir à remplir les données manquantes.
DocsEnveloppe opérationnelle de la base de données 3forge
historique (lignes)
historique
(ops/sec)
en temps réel
Que représentent 10 000 milliards de lignes ?
Le flux consolidé des transactions et cotations d'actions sur les marchés américains, ou SIP, représente environ 2,5 milliards de messages SIP par journée de trading. Si 1 ligne correspond à 1 message SIP consolidé (transactions + cotations), 10 000 milliards de lignes représenteraient 4 000 jours de trading, soit 16 ans. De même, les données de marché sur les options sont extrêmement denses, avec environ 200 milliards de mises à jour de cotations par jour sur OPRA lors des marchés actifs. Même à ce rythme effréné, 10 000 milliards de mises à jour de cotations représenteraient 2,5 mois de trafic de cotations d'options.
Agrégation de données en temps réel
La plateforme 3forge est particulièrement bien adaptée aux transformations et comparaisons de données à grande échelle et sensibles au temps. Sa modularité inhérente permet une large gamme de configurations de déploiement pouvant être adaptées à chaque cas d'usage spécifique. De plus, le modèle de tarification de 3forge s'avère particulièrement avantageux pour les entreprises nécessitant une évolutivité et une flexibilité substantielles tout en maintenant des coûts prévisibles et abordables.
Un 3forge Center peut recevoir des données de marché depuis différents flux, réconcilier les streams en temps réel et propager le prix le plus rapide vers les systèmes en aval. Ces flux d'échange peuvent être répartis entre les centres de données pour une redondance supplémentaire.
De même, un 3forge Center peut recevoir des ordres de différents systèmes de gestion d'ordres représentant des classes d'actifs ou des voies d'accès au marché, incluant les flux d'ordres sans intervention et à faible intervention, et les agréger pour obtenir une représentation unifiée de l'activité du marché pour la transparence, la gestion des risques, le contrôle des expositions et même le croisement d'ordres interne.
Optimisations pour les charges de données les plus importantes
3forge exploite plusieurs approches avancées pour équilibrer le besoin de vitesse dans la transmission des données avec les contraintes techniques pouvant ralentir le flux de données.
Traitement basé sur les deltas
Plutôt que de retraiter ou retransmettre l'intégralité du jeu de données à chaque mise à jour, 3forge ne traite que les modifications (deltas) dans les données. Cette approche améliore considérablement les performances et l'efficacité dans les systèmes en temps réel.
Conflation
Lors de la réplication des données dans son architecture à plusieurs niveaux, 3forge peut être configuré pour envoyer chaque mise à jour ou uniquement la dernière à un intervalle convenu. Cela écarte efficacement les valeurs intermédiaires, réduisant considérablement la charge pour les consommateurs en aval.
Résumé
3forge peut calculer et stocker des métriques sommaires régulières et basées sur les deltas, notamment des moyennes, des sommes, des comptages, des valeurs minimales ou maximales, pour compresser les volumes de données, permettre l'analyse des tendances et prendre en charge des analyses temporelles comme les moyennes mobiles.
Décoration
3forge prend en charge la décoration automatique des données via des déclencheurs événementiels invoqués lors des opérations de données, permettant l'enrichissement dynamique, la validation et la propagation des données en réponse aux modifications au niveau des tables.
Traitement d'événements complexes
3forge offre des tables en temps réel et des fonctionnalités natives à la base de données permettant d'exécuter la logique métier à la volée en fonction des mises à jour de données. En combinaison avec la conflation, ces déclencheurs peuvent traiter intelligemment et efficacement uniquement le travail nécessaire.
Les types de déclencheurs suivants sont pris en charge nativement :
Agrégation
Crée et met à jour des tables d'agrégation à mesure que les données source changent.
Projection
Maintient des tables de projection filtrées ou transformées automatiquement.
Jointure
Crée et maintient des tables jointes synchronisées sur les mises à jour des sources.
Décoration
Enrichit les données avec des champs supplémentaires d'une autre table.
Relay
Envoie des messages aux systèmes en aval via le 3forge Relay.
AMIScript
Exécute des scripts personnalisés lors de toute activité d'insertion, de mise à jour ou de suppression.
Référence de syntaxe des déclencheurs
Déclencheur de script
Create trigger <trigger_name> Oftype Amiscript ON <table_name> [PRIORITY priority] Use...
Déclencheur d'agrégation
Create trigger <trigger_name> Oftype Aggregate ON <source_table>, <target_table> Use...
Déclencheur de projection
Create trigger <trigger_name> Oftype Projection ON <source_tables>, <target_table> Use...
Base de données historique pétaoctet pour l'archivage
Bien que les meilleures performances de requête soient obtenues avec les bases de données en temps réel, 3forge propose également des tables historiques colonnaires capables de contenir des milliers de milliards de lignes. Persistées sur disque et prenant en charge le partitionnement, ces tables sont conçues pour stocker de grands volumes de données à grande vitesse avec une récupération rapide, tout en utilisant la même syntaxe SQL que les tables en temps réel.
Les données des tables historiques peuvent être interrogées et chargées dans une table en temps réel où l'ensemble des optimisations de requête peut être utilisé, notamment les jointures avec d'autres tables.
3forge prend en charge de manière unique les fonctionnalités suivantes dans sa base de données historique (HDB) :
Grands nombres de colonnes et types de données lourds
Prise en charge des grands nombres de colonnes et des types de données lourds, notamment les champs blob, sans compromettre les performances des requêtes ni l'efficacité du stockage.
Stratégies de stockage configurables
Stratégies de stockage configurables pour chaque colonne, incluant quatre types de stockage pour des performances optimales. Le système adapte dynamiquement les types de stockage lors de l'optimisation par partition pour l'efficacité du disque et la vitesse des requêtes en fonction de l'utilisation réelle des données.
| Type | Description |
|---|---|
| FLAT | Types à longueur fixe comme INT, FLOAT, DOUBLE |
| VARSIZE | Types à longueur variable comme STRING et BINARY, jusqu'à 1 To |
| BITMAP | Efficace pour les chaînes à faible cardinalité |
| PARTITION | Organise les lignes en partitions isolées |
Gestion des schémas
Ajoutez, supprimez ou modifiez des colonnes sans impact sur les partitions historiques. Les colonnes de partition sont immuables, donc une planification soigneuse est essentielle lors de la conception du schéma de table. La HDB garantit que les anciennes partitions sont mappées sur les nouveaux schémas de manière transparente, préservant l'intégrité historique.
Opérations au niveau des lignes
La HDB prend en charge les clauses UPDATE et DELETE tout en préservant l'optimisation des partitions. Les modifications significatives au sein d'une partition sont ré-optimisées automatiquement. L'indexation par tri améliore davantage les performances des requêtes.
Archivage des données en temps réel depuis les mises à jour en streaming
Déplacez de manière transparente les données des tables en temps réel vers la HDB en utilisant des approches pilotées par événements, par lots ou par minuterie. Cela garantit que les enregistrements historiques restent à jour sans interrompre les opérations en cours.
Mise à l'échelle fiable des données
Lors du traitement et de l'archivage de jeux de données à haute vélocité, 3forge facilite l'amélioration des performances et de la résilience de manière simple et sécurisée.
Réplication de base de données
3forge offre une réplication de données simple et efficace entre les bases de données Center primaires et en veille chaude avec une configuration simple. La veille peut vérifier l'état du primaire et prendre le relais en cas de défaillance avec toutes les données déjà chargées en mémoire.
Équilibrage de charge de la base de données
La réplication peut également être utilisée pour l'équilibrage de charge entre plusieurs Centers basé sur des règles de routage dans le Relay. Ces multiples Centers augmentent la redondance et l'évolutivité. La flexibilité de la plateforme permet des déploiements plus avancés, tels que la réplication multi-régionale et même mondiale.
Résilience de l'infrastructure mondiale
Chaque aspect de l'architecture à plusieurs niveaux de 3forge peut implémenter la réplication des données pour la redondance et la résilience.
Diversité des adaptateurs de flux et de sources de données
Permet aux données d'être sourcées et archivées vers et depuis des systèmes distants.
3forge Relays
Peuvent diffuser les données vers plusieurs Centers pour des scénarios de redondance actif-actif et actif-veille.
3forge Centers
Peuvent être configurés ensemble pour distribuer le travail ou fournir une veille chaude ou tiède.
Composants Web 3forge
Capables de se connecter à plusieurs Centers et de prendre en charge la gestion distribuée des profils utilisateurs.
3forge Web Balancer
Permet l'utilisation de plusieurs webs avec une seule adresse IP, en routant les utilisateurs en fonction de la capacité Web disponible.
Routage dynamique des messages & map reduce
3forge permet des règles de routage dynamiques qui dispatchent intelligemment les messages vers des centres de traitement spécialisés en fonction du contenu, de la charge ou d'une logique personnalisée, le tout configurable en temps réel. Chaque centre peut traiter indépendamment sa portion de charge de travail avant que les résultats ne soient fusionnés de manière transparente via une opération map-reduce. Cette architecture garantit une utilisation optimale des ressources, un traitement parallèle et une agrégation haute performance sur des systèmes distribués.
Messagerie garantie
La messagerie garantie assure que chaque mise à jour critique est durablement persistée et livrée de manière fiable, quelles que soient la charge du système ou les conditions réseau transitoires. Les messages sont journalisés dans un journal d'écriture anticipée (WAL), permettant aux centres en aval, notamment ceux temporairement hors ligne, de récupérer et rejouer les données manquées lors de la reconnexion. Bien que la messagerie garantie n'effectue pas de suppression des doublons, elle fournit la durabilité et la continuité requises pour les systèmes de trading en temps réel, de risque et de conformité.
Transformation et routage des messages
3forge inclut de puissantes capacités de transformation des messages, permettant aux entreprises d'inspecter, modifier, enrichir ou filtrer les messages en vol, sans écrire de code personnalisé. Cela est particulièrement précieux pour les protocoles FIX et autres protocoles financiers, où des ajustements dynamiques peuvent être requis pour prendre en charge différentes contreparties, normaliser les formats, expurger les champs sensibles ou router en fonction du contenu. Avec la prise en charge des règles déclaratives et des scripts, 3forge permet une logique rapide et flexible adaptée aux besoins évolutifs du trading et de la conformité.
Voyez Live Data gérer vos flux les plus exigeants.