データウェアハウスのキャッシュ層
すべてのデータがクラウド基盤にあると、クエリのたびに料金と待ち時間が発生し、同じデータが1日に何百回も照会されます。請求額は読み取りごとに膨らみ、クエリ速度は基盤の混雑状況によって変動するため、コストも性能も予測がほぼ不可能です。3forgeはそれを解決します。基盤の前段に日中のキャッシュ層として配置され、データを一度だけ読み込み、以降は終日メモリから提供します。最初のクエリ以降はすべて瞬時に返り、ソース側のコストはゼロです。
課題
クエリのたびに、お金と時間がかかる
クラウドデータ基盤は利用量で課金し、共有された計算リソース上で動くため、クエリのたびにお金と時間の両方がかかります。コストはデータそのものではなく一回ごとの読み取りに乗り、最近のデータが数百の利用者やアプリケーションによって終日読み取られると、変わっていないデータの読み取りごとに企業は再び料金を支払います。クエリの待ち時間は基盤の負荷によって変動するため、最も重く価値あるクエリほど、コストが高く、実行時間も読みにくくなります。
クエリごとにコストが発生する
利用量ベースの料金体系では、基盤に対する各クエリが課金対象になります。コストはストレージではなく読み取りに積み上がるため、データが同一であっても、使われるほど費用がかさみます。
ホットなデータが何度も読まれる
同じ最近のデータセットが、チームやアプリケーションをまたいで1日に何百回も照会されます。読み取りごとに別々に課金されるため、セッション中ほとんど変化しない作業データセットに対して、企業は繰り返し料金を支払います。
複雑なクエリほど高くつく
重い結合、スキャン、集計は多くの計算リソースを消費し、課金額も高くなります。分析上もっとも価値ある処理ほど、ソースに対して実行するコストも高くなります。
支出の予測が難しい
コストは数百の利用者にまたがるアドホックな利用に連動するため、事前にきれいに見積もることができません。財務やエンジニアリングは、既知の数字をもとに計画する代わりに、請求額に後追いで対応することになります。
クエリが遅く、予測できない
クエリ時間は、共有基盤の負荷とクエリの重さに左右されます。同じダッシュボードがある瞬間は1秒で返り、次の瞬間には止まることもあります。終日のインタラクティブな利用は、ソースからの安定したレイテンシーに頼ることができません。
3forgeのアプローチ
一度読み込み、終日メモリから提供する
3forgeは、クラウドデータ基盤の前段で日中のキャッシュ層として稼働します。作業データセットを基盤から一度だけ読み出し、カラムストアに支えられたリアルタイムのインメモリテーブルに取り込みます。その日の残りは、すべての利用者とアプリケーションが基盤ではなく3forgeを標準SQLで照会し、結果は基盤の混雑状況にかかわらずメモリからインメモリの速度で返ります。ソースはクエリごとではなく一度だけ触れられるため、クエリ単位のトランザクションコストは消え、支出は既知の固定的なプロファイルになります。さらに3forgeはGatewayを通じて、Python、C++、ODBCなどのネイティブ統合により事実上あらゆるアプリケーションへデータを配信するため、これら数百の利用者は使い慣れたインターフェースからキャッシュ層にアクセスできます。
主な機能
3forgeで実現できること
一度読んで、終日照会
作業データセットを基盤から一度だけインメモリテーブルに読み込みます。以降のクエリはすべて3forgeに対して実行されるため、同じデータでソースが二重に課金されることはありません。
予測可能なコストプロファイル
読み取りごとに膨らむ利用量ベースの課金を、固定で既知のコストに置き換えます。クエリ支出はアドホックな利用の追従をやめ、計画の基準にできる数字になります。
高性能なインメモリSQL
キャッシュ層を標準SQLで照会し、結果をメモリから取得します。クラウド基盤への往復よりもはるかに高速で、ソースの負荷に左右されず安定して予測可能なレイテンシーを保ち、3forgeランタイムの実行効率をすべて享受できます。
あらゆるアプリケーションからの広いアクセス
同じデータを、App Engineのアプリケーションにも、Gateway経由で事実上あらゆる外部アプリケーションにも提供します。Python、C++、ODBC、REST、SQLのネイティブ統合に対応します。
数百の利用者へスケール
同じインメモリデータセットを、数百の利用者とアプリケーションへ同時に配信します。利用者の追加は3forgeへの負荷を増やすだけで、ソース側のコストは増えません。
導入が容易
データの保管方法を変えることなく、既存の基盤の前段にキャッシュ層を配置します。インストールも、利用者の接続先の切り替えも容易で、ソースには手を加えません。
お問い合わせ
終日照会して、支払いは一度。
3forgeのソリューションエンジニアとの30分のデモを予約し、日中のキャッシュ層が数百の利用者へメモリから高速で安定したSQLを提供し、ソース側にクエリ単位のコストを発生させない様子をご覧ください。