DynamoDBにローカルのCSVファイルを取り込むためのPythonスクリプト（エクスポートも対応）

2022年2月23日

DynamoDBがリリースされて10周年だそうです。

10歳の誕生日おめでとう – DynamoDB | Amazon Web Services

https://aws.amazon.com/jp/blogs/news/happy-birthday-dynamodb/

2012 年 1 月 18 日、Jeff と Werner が、Amazon DynamoDB の一般提供を発表しました。Amazon DynamoDB は、あらゆる規模で 1 桁台のミリ秒のパフォーマンスを実現するフレキシブルなフルマネージド型 NoSQL データベースサービスです。過去 10 年間で、何十万人ものお客様に DynamoDB を導入いただいております。DynamoDB では、定期的にパフォーマンスやスケーラビリティの新たなピークに達します。例えば、2021 年 6 月に開催された前回の Prime Day (プライムデー) のセールでは、1 桁台のミリ秒のパフォーマンスを維持しつつ、66...

DynamoDBのつらみの代表的なものといえばRDBのようにデータのインポート/エクスポートが手軽にできないことだと個人的に思ってます。
10年経ってもここを手軽に解決してくれるものが一向に出てきません。
有志の人が作ったツールもGitHubに転がってたりはしますが、今一つ求めてるものが見つからない。

ということでもう自分で作っちゃいました。

GitHub

GitHub - danishi/dynamodb-csv: A utility that allows CSV import / export to D...

https://github.com/danishi/dynamodb-csv

A utility that allows CSV import / export to DynamoDB on the command line - GitHub - danishi/dynamodb-csv: A utility that allows CSV import / export to DynamoDB on the command line

詳しくはREADME.mdを読んでもらうとして、CSVファイルとそのCSVファイルの型定義を用意することでバイナリ型を除くデータ構造の取り込みをサポートしています。

余計なサービスは一切使わず、アクセスキーとPythonを動かせる環境さえあれば使えるようになっています。

取り込み性能はキャパシティユニットに依存しますが書き込みキャパシティユニット5で300件7秒くらいでした。
大量データの場合どうなるかはまだ未検証。
あと例外処理もあんまりちゃんとしてないのでもし、イシューやPRが来たら対応したいかなくらい。

自分が欲しいものをプログラミングで作れるのはプログラマー冥利に尽きますね。

ちょこちょこアップデートしてて今はエクスポートやトランケートにも対応しています。

Amazon Web Services