Confluent社は先月、"Confluent Cloud for Apache Flink"の一般提供を発表した。このフルマネージドサービスは、リアルタイムデータ処理と高品質で再利用可能なデータストリームの作成を可能にする。このサービスはAmazon Web Services（AWS）、Google Cloud、マイクロソフト Azureで利用できる。
Apache Flinkは、Airbnb、Uber、LinkedIn、Netflixなどの企業で採用されている、信頼性が高く広く使われているストリーム処理フレームワークだ。同社によると、2023年には100万回近くダウンロードされたことから、その人気は明らかだ。Confluentは、Apache Flinkのクラウドオファリングを構築し、ユーザーが運用を気にすることなくビジネスロジックに集中できるようにすることを決定した。昨年のオープンプレビューを経て、一般提供が利用可能になった。
Confluentは、FlinkとANSI SQL標準との統合を容易にし、リアルタイムのデータ探索とアプリケーション開発を簡素化する。開発者は、Confluent の CLI(SQL Shell) とSQL Workspaces を使って、Flink SQL クエリを素早く書いて実行でき、自動補完や効率的なワークフロー管理のためのグラフィカル・インターフェイスなどの機能も備えている。
Confluent Cloud CLI の SQL クライアント（出典：Confluentブログポスト）
更に、ConfluentのData Portalと最近導入されたFlink Actionsは、セルフサービスのデータ探索とビルド済みのストリーム処理変換を提供し、ユーザーは深い専門知識がなくてもFlinkのパワーを簡単に活用できる。
フルマネージドFlinkサービスは、エラスティックな自動スケーリング、自動アップデート、利用ベースの課金などの機能を備えたサーバーレスサービスである。同サービスは、効率的なリソース利用と高い信頼性を保証する。
Confluent社は、次のように述べている。
Confluent Cloud for Apache Flinkでは、自動アップデートにより、古いソフトウェアや脆弱性に起因するダウンタイムやデータ損失のリスクを低減できます。さらに、当社のオートスケーラは効率的なリソース割り当てを保証し、ピーク使用期間中のパフォーマンスボトルネック、スロットリング、障害のリスクを低減します。
更に、Kafkaとの統合、メタデータ管理とセキュリティの強化により、オペレーションをさらに合理化し、データの完全性を確保する。
Confluentはまた、AIとMLアプリケーション開発を加速させるために、データクリーニングと処理タスクを合理化するように設計されたAIモデル推論を、Apache Flinkサービス向けの新機能として予定している。この機能により、組織は使い慣れたSQL構文を利用してAI/MLモデルと直接対話でき、専門的なツールや言語の必要性を最小限に抑えることで、AI開発を簡素化できる。
Confluent社は、直近のブログ記事で次のように述べている。
Confluent Cloud for Apache FlinkのAIモデル推論により、組織はシンプルなSQLステートメントを使用して、OpenAI、AWS Sagemaker、GCP Vertex、Azureなどのリモートモデルエンドポイントを呼び出し、単一のプラットフォーム上でデータクリーニングと処理タスクをオーケストレーションできます。
Confluent社の製品管理ディレクターであるJean-Sébastien Brunner氏は、InfoQに対し、今後のAIモデル推論機能について語った。
ユーザーはFlink SQLでAI/MLモデルを直接定義でき、OpenAIのようなLLMを呼び出すためのカスタムコードやユーザー定義関数が不要になります。このアプローチにより、ユーザーは使い慣れたSQL構文を使ってモデルを呼び出し、異なるアプリケーション間でのシームレスな再利用が容易になり、データやAI/MLタスクのために言語やツールを切り替える必要がなくなります。
さらに同氏は、組織がこの機能を実際にどのように活用できるかを付け加えた。
データ・エンジニアは、顧客のインタラクションや商品データを取り込み、パーソナライズされたeコマース・レコメンデーションのためのデータ・パイプラインを構築できます。リアルタイムのインタラクションは推論のためにLLMモデルに供給され、ユーザーの行動に基づいてパーソナライズされたレコメンデーションが生成されます。これらすべては、コンテキストを切り替え、外部のチームに頼ることなく、SQLでシームレスに管理されます。
最後に、Confluent社はフレキシブルなレイテンシ要件を持つ高スループットのユースケース向けに、Freight Clustersと呼ばれる新しい自動スケーリングクラスターをサービスに追加する。これにより、手動で介入することなく、需要に応じてリソースをシームレスに調整することで、コスト効率を高めることができる。