2020-03-01から1ヶ月間の記事一覧

Hive/PrestoでのJSONの展開方法

Hiveでのjsonの展開方法についてのメモ こんなJSONを無邪気に入れてしまっていないだろうか。 [{"key":"k1","value":"v11"},{"key":"k2","value":"v12"}] さてこのデータをこんな感じのテーブルに展開したいが、どうしたらいいのだろうか。 配列で入ってれば…

Treasure DataにおけるBulk Importの種類について

TreasureDataにデータを入れる方法について 大まかに以下の2種類が存在する。 Streaming Import Bulk import Streaming Importってなに fluentdやjs-sdkなどを利用して、リアルタイムで生成されているデータを転送する方法。 1回あたりにインポートされるレ…