最近、AWSは、Amazon EMR on Amazon Elastic Kubernetes Service (Amazon EKS)においてカスタマイズ可能イメージのサポートを発表した。これにより、顧客は、EKSクラスターでApache Sparkを使って分析アプリケーションを実行するDockerランタイムイメージを変更できる。
AWS re:Invent 2020で、同社はAmazon EMR on EKSを発表した。これは、Amazon EMRの新規のデプロイオプションであり、これによってApache Spark on Amazon EKSのプロビジョニングと管理を自動化できる。さらに、カスタマイズ可能イメージが新たにサポートされ、アプリケーションとその依存関係の両方を含むコンテナーを作成できるようになった。これは、パフォーマンスが最適化されたEMR Sparkランタイムに基づき、顧客自身の継続的インテグレーション（CI）パイプラインを使って行われる。
Amazon EMR on EKSを利用している組織のデータエンジニアは、ベースイメージを作成し、企業の標準ライブラリを追加して、Amazon Elastic Container Registry（Amazon ECR）に保存できる。その後、アプリケーション固有の依存関係を含めるようにイメージをカスタマイズできる。結果として得られる不変のイメージに対して脆弱性スキャンを実行して、テスト環境と本番環境にデプロイできる。
カスタムイメージの使い方は簡単である。ユーザは、Start-Job-Run APIのパラメータspark.kubernetes.container.imageを使って、ジョブで使うカスタムイメージを指定できる。さらに、パラメータspark.kubernetes.driver.container.imageとspark.kubernetes.executor.container.imageを使って、Sparkドライバとエグゼキュータポッドに異なるイメージを指定することもできる。
AWSは、カスタマイズ可能イメージをサポートすることにより、EMRとEKS上でビルド済みのコンテナーイメージを使ってApache Sparkジョブを実行する顧客の要望に応えている。AWSの分析に関する主任ディベロッパーアドボケートであるDamon Cortesi氏は、最近公開されたAWSのビデオ「Build Custom Images for Apache Spark on Kubernetes」で次のように述べている。
この機能をリリースしたときに顧客が最初に言っていたことは、コンテナイメージをカスタマイズしたいということでした。異なる依存関係であったり、環境変数の変更といったものです。そのため、彼らは私たちが提供したベースイメージを取り上げ、その上にいくつかの変更を加える方法を望んでいました。そのため私たちがしたことは、アプリケーション開発を簡素化するために、CIプロセスの一部として自己完結型の不変コンテナイメージを作成する方法を提供することでした。
現在、カスタマイズ可能イメージは、Amazon EMR on EKSを追加料金なしで利用できるすべてのAWSリージョンで利用できる。詳細については、Amazon EMR on EKS開発ガイドとAmazon EMR on Amazon EKSの詳細ページをご覧ください。