AWS Glue

AWS GlueではScalaまたはPythonでETLコードを生成します。このコードを使用して、ソースからのデータ抽出、ターゲットのスキーマに合わせたデータ変換、ターゲットへの書き出しを行います。生成されたコードは、コンソールやテキストエディタで編集、デバッグ、テストなどを行うことができます。

クローラーがソースやターゲットのデータに接続され、分類子の優先順位付きリストによってデータのスキーマが判定された後、AWS Glueにメタデータが作成されます。メタデータはテーブルに保存され、ETLジョブの作成プロセスで使用されるため、開発の効率を向上させます。また、クローラーはスケジュールによる実行やオンデマンドでの実行、または、最新のメタデータが必要な際にトリガー設定することも可能です。

サーバーレスストリーミング ETL機能を使用すれば、ストリーミングデータをリアルタイムに変換しながら書き込むオンザフライ方式で準備できるため、継続的取り込みパイプラインを簡単にセットアップできます。また、サーバーレスストリーミングETLジョブは、データを強化および集約しバッチとストリーミングソースを結合し、複雑な分析や機械学習オペレーションを実行することまで可能です。