GlueのJDBC並列読取りのlowerBound、upperBoundを動的に求めたい
Glueの並列読取りのためのプロパティのlowerBound、upperBound。
パーティションカラムの最大値と最小値をジョブ実行のたびに動的に求めて設定できるようにしてみました。
AWS Glueを使うときに気をつけること
使ってると色々ハマることがあったのでメモ。
ETLジョブDataFrameとDynamicFrameGlueのジョブをコーディングするのにPython ShellやPython Sparkが選
AWS GlueでOracle RACへJDBC接続
RAC構成のOracleに対しては、JDBCでフェイルオーバーを有効にしたAWS Glue接続定義を作ることができません。
ただし、Python Sparkで直接JDBC接続すればこれが可能になります。