Persistance
Une base de données historique columnar partitionnée conçue pour des milliers de milliards de lignes de données financières, avec une ingestion transparente depuis les tables temps réel et la même surface SQL de bout en bout.
Conçue pour la finance, dimensionnée pour le monde
Un stockage à long terme qui ne casse pas le modèle de requête
Stocker des données financières sur plusieurs années, données de marché, transactions, pistes d'audit, registres réglementaires, exige plus que de la capacité. Cela exige une couche de stockage qui n'impose pas de compromis entre l'échelle, la flexibilité des schémas et la performance des requêtes. La base de données historique 3forge (HDB) est une archive columnar conçue pour cette mission : des milliers de milliards de lignes sur disque, un stockage partitionné, des schémas évolutifs et une surface de requête partagée avec les tables temps réel qu'elle complète.
Base de données historique pétaoctet pour l'archivage
Bien que la plus haute performance de requête soit atteinte avec les bases de données temps réel, 3forge propose également des tables historiques columnar capables de contenir des milliers de milliards de lignes. Persistées sur disque et prenant en charge le partitionnement, ces tables sont conçues pour stocker de grands volumes de données à grande vitesse avec une récupération rapide, le tout en utilisant la même syntaxe SQL que les tables temps réel.
Les données des tables historiques peuvent être interrogées et chargées dans une table temps réel où l'ensemble des optimisations de requête est accessible, y compris les jointures avec d'autres tables.
3forge prend en charge de façon unique les fonctionnalités suivantes dans sa base de données historique (HDB) :
Grand nombre de colonnes et types de données lourds
Prise en charge d'un grand nombre de colonnes et de types de données lourds, y compris les champs blob, sans compromettre la performance des requêtes ni l'efficacité du stockage.
Stratégies de stockage configurables
Des stratégies de stockage configurables pour chaque colonne, incluant quatre types de stockage pour une performance optimale. Le système adapte dynamiquement les types de stockage lors de l'optimisation, partition par partition, pour l'efficacité disque et la vitesse de requête en fonction de l'usage réel des données.
| Type | Description |
|---|---|
| FLAT | Types de longueur fixe comme INT, FLOAT, DOUBLE |
| VARSIZE | Types de longueur variable comme STRING et BINARY, jusqu'à 1 To |
| BITMAP | Efficace pour les chaînes de faible cardinalité |
| PARTITION | Organise les lignes en partitions isolées |
Gestion des schémas
Ajoutez, supprimez ou modifiez des colonnes sans impacter les partitions historiques. Les colonnes de partition sont immuables ; une planification soignée est donc essentielle lors de la conception du schéma de la table. La HDB garantit que les anciennes partitions sont mappées de façon transparente aux nouveaux schémas, préservant l'intégrité historique.
Opérations au niveau de la ligne
La HDB prend en charge les clauses UPDATE et DELETE tout en préservant l'optimisation des partitions. Les changements significatifs au sein d'une partition sont ré-optimisés automatiquement. L'indexation par tri améliore encore la performance des requêtes.
Archivage des données temps réel issues des mises à jour en streaming
Déplacez de façon transparente les données des tables temps réel vers la HDB à l'aide d'approches pilotées par événement, par lot ou par minuterie. Cela garantit que les registres historiques restent à jour sans interrompre les opérations en cours.
Prochaines étapes
Archivez des milliers de milliards de lignes sans compromettre la performance des requêtes.
Réservez une démo de 30 minutes avec un ingénieur solutions 3forge.