Apache Iceberg とはなに? |
|
|
Apache Icebergは、一言でいうと、
です。 特にデータレイクやレイクハウスでよく使われます。 まず「普通のS3」と何が違う?例えばS3に大量のログを保存するとします。 これは単なるファイルの集合です。 SQLで、 と扱いたくても、
という問題があります。 そこでIcebergが間に入ります。 つまり、
のがIcebergの基本的な役割です。 Icebergはデータベースなの?ここは重要です。 Iceberg自体はデータベースではありません。 データを保存する場所は例えば、
などです。 そして実際のデータファイルには、
などを使えます。 Icebergは、その上に
という管理情報を持たせます。 何が嬉しいの?最大のポイントは、データレイクをデータベースのように扱えることです。 ① ACIDトランザクション例えば大量データを更新している途中で処理が落ちると、 という問題が起きます。 Icebergではスナップショットを使って、
を管理できます。 ② Time TravelIcebergの非常に面白い機能です。 例えば今日、 だったとします。 昨日のデータを見たければ、
ということができます。 つまり、 という履歴を持てます。 これをTime Travelと呼びます。 ③ UPDATE / DELETEができる従来のデータレイクでは、
のがかなり面倒でした。 IcebergではSQLエンジンから、 のような操作ができます。 これによって、 データレイクなのにデータベースっぽい操作ができる ようになります。 ④ スキーマ変更に強い例えば最初は、 だったテーブルに、 を追加したくなったとします。 Icebergでは、 のようなスキーマ変更を扱えます。 しかも大量の既存データを全部書き換える必要がない場合があります。 ⑤ 大量ファイルを効率よく検索できるこれも重要です。 S3に、 のParquetファイルがあったら、全部確認するのは大変です。 Icebergはメタデータを使って、
という判断ができます。 例えば、 なら、関係ない日付のファイルを読み飛ばす。 これをPartition Pruningなどと組み合わせて高速化します。 IcebergとParquetは何が違う?ここはかなり混乱しやすいです。 です。 例えば、 という関係です。 なので、
と考えるとかなり分かりやすいです。 ただしIcebergはParquet専用ではなく、ORCやAvroも利用できます。 SparkやFlinkとは何が違う?ここも重要です。 例えば、 という構成ができます。 それぞれ役割が違います。
つまり、
という違いです。 Hiveとの関係Icebergを理解するなら、Hiveとの違いも重要です。 昔のデータレイクでは、 という構成がよくありました。 しかし従来のHiveテーブルには、
などの課題がありました。 そこで登場した現代的なテーブルフォーマットが、
などです。 これらをまとめて、
などと呼びます。 Icebergが特に活躍する構成例えば、 のような構成です。 これによって、 「S3に大量のデータを安く保存しながら、データベースのようにSQLで扱う」 ということが可能になります。 一言でいうとApache Icebergは、
です。 特に覚えておくといいのは、 という役割分担です。 そして、以前のFlinkの話とつなげると、**「Flinkでリアルタイムに処理したデータをIcebergに書き込み、S3上の巨大なデータレイクとして蓄積し、TrinoやSparkから分析する」**という使い方がかなり典型的です。 |
| |





