当ページでは、CSA Data Uploader でのリリースバージョン毎の追加・対応機能の概要を紹介します。
リリースノート¶
v2.5.0(2023/12/08)¶
Caution
本バージョンよりAmazon Linux 2は動作対象外となります。
- Linux版の動作環境を変更：Linux版の動作環境をAmazon Linux 2023に変更しました。
- Azure Blob Storage接続(Beta)のサポートを中止：入力データソースより「Azure Blob Storage接続(Beta)」のサポートを中止しました。
- Snowflake内部ステージ設定の不具合を修正：Snowflake内部ステージ設定の不具合を修正しました。
- ユーザーガイドへのリンクを追加：ヘルプよりユーザーガイドを開くことができるようになりました。
v2.4.1(2023/11/30)¶
- プロファイル指定でのS3接続の不具合を修正：プロファイル指定でのS3接続の不具合を修正しました。
- SNS通知設定にプロファイル名を追加：SNS通知設定で任意のプロファイル名を指定できるようになりました。
- サービスエンドポイントの環境変数を追加：STS、SNSのエンドポイントを環境変数で設定できるようになりました。
v2.4.0(2023/07/12)¶
- ファイルマネージャ画面の機能を改善：ファイルリストのデザインを変更し、サイズや最終更新日時が表示されるよう機能を改善しました。
- 変換要素に「文字数統一」を追加：入力データソースの全カラムの文字数を統一する変換処理を追加しました。
- ジョブ種別に「データアップロード(for Redshift)」を追加：Redshift用に整形してアップロードするための専用ジョブを追加しました。
- ダイアログの不具合を修正：ダイアログを閉じることができなくなる不具合を修正しました。
v2.3.0(2023/05/31)¶
- ファイルマネージャ機能をリリース：「エクスプローラ」画面を「ファイルマネージャ」画面としてリニューアルしました。
v2.2.0(2023/05/08)¶
- Webサイトを経由してのライセンス登録機能を追加：Webサイトを経由してのライセンス登録機能を追加しました。
v2.1.1.02(2023/04/11)¶
- SFTP接続の不具合を修正：「SFTP接続」の不具合を修正しました。
v2.1.1.01(2023/03/27)¶
- ODBC接続の不具合を修正：「ODBC接続」の不具合を修正しました。
v2.1.1(2023/01/30)¶
- ジョブ編集画面の不具合を修正：「ジョブ編集」画面の不具合を修正しました。
- 出力データソース設定画面の不具合を修正：「出力データソース設定」画面の不具合を修正しました。
v2.1.0(2023/01/10)¶
- S3の接続時に「エンドポイントURL」が可能に：S3の接続時にエンドポイントURLを指定できるようになりました。
v2.0.1.02(2022/11/24)¶
- エクスプローラ機能を一時的に利用停止：「エクスプローラ」画面の利用を機能調整のため一時的に停止しました。
- データアップロード機能の不具合を修正：「データアップロード」機能における既知の不具合について修正を行いました。
v2.0.1.01(2022/10/18)¶
- エクスプローラ機能の不具合を修正：「エクスプローラ」画面の不具合を修正しました。
- エクスプローラ
- ※データ接続先の「FTP」は機能調整中のため一時的に利用不可としております。
v2.0.1(2022/08/08)¶
- Googleドライブの設定画面変更：Googleドライブのデータソース設定画面を一部変更しました。
v2.0.0(2022/04/20)¶
- エクスプローラ機能を追加：任意のデータソースのフォルダやファイルを画面にて操作できる「エクスプローラ」画面を追加しました。
- ジョブの編集機能を変更：ジョブを編集しやすくなるようにリニューアルしました。
v1.14.1.01(2023/03/27)¶
- ODBC接続の不具合を修正：「ODBC接続」の不具合を修正しました。
v1.14.1(2022/04/18)¶
- ODBC接続の機能を修正：「ODBC接続」の機能を修正しました。
v1.14.0(2022/03/14)¶
- 入力要素・出力要素に『Googleドライブ』を追加：データアップロードジョブ及びファイルアップロードジョブの入力要素・出力要素にGoogleドライブを指定出来るようになりました。
- 導入時の利用規約画面を変更：導入時の利用規約を外部リンクに変更しました。
v1.13.0(2022/02/18)¶
- ODBC入力指定時に「入力データソースの文字コード指定」が可能に：入力データソースの文字コードを指定出来るようになり、データの文字コードをUTF8(最近のデータウェアハウスで広く採用されているもの)に変換しやすくなりました。
- 変換要素に「タイムゾーン項目のタイムゾーン情報変換処理を追加：指定項目のタイムゾーン情報変換が出来るようになりました。
v1.12.0(2021/10/13)¶
- 出力要素に『Snowflake外部ステージ』を追加』：データアップロードジョブ及びファイルアップロードジョブの出力要素にSnowflakeの「外部ステージ」を指定出来るようになりました。
- 変換要素に「日付」「タイムスタンプ」周りの処理を追加：以下の処理を新しく追加。日付やタイムスタンプのデータの取り回しが更に便利になりました。
- 既存列を結合(日付作成)
- 既存列を結合(タイムスタンプ作成)
- 日付・タイムスタンプ書式統一
v1.11.0(2021/06/25)¶
- アプリケーションで利用しているライブラリの更新を行いました
- アプリケーション内部で利用しているライブラリの更新を行いました。
- また、合わせて軽微な修正を幾つか含めています。
v1.10.0(2021/05/13)¶
- 入力ファイルの圧縮形式に「zip」を追加：入力ファイル指定時の選択肢に、新しく「zip圧縮」が選べるようになりました。
v1.9.0(2021/02/12)¶
- 接続設定:ODBCの選択肢に「汎用ODBC接続」を追加：ODBC接続の選択肢として新たに「汎用ODBC接続」を追加し、利用可能な範囲を大きく拡大しました。
- 接続設定:Amazon S3設定の認証方式にアクセスキー指定が可能に：従来利用可能であった「プロファイル指定」の他に、新たに「アクセスキー指定」での設定が可能になりました。
- 入力要素にファイルを選択した際の「文字コード」設定に「eucjp」を追加：従来選択可能であった「sjis」「utf8」の他に、新たに「eucjp」も選択可能になりました。
v1.8.0(2020/09/23)¶
- 出力要素に『Google Cloud Storage』を追加：データアップロードジョブ及びファイルアップロードジョブの出力要素にGCPの「Google Cloud Storage」を指定出来るようになりました。
- 変換要素に「カラム名変更」を追加：列(カラム)名称を任意の値に変更可能な変換要素が利用出来るようになりました。
- 変換要素に「行列変換」を追加：入力値を指定の条件で行列変換出来る変換要素が利用出来るようになりました。
- 変換要素に「行分割」を追加：入力値の任意の列(カラム)に対して条件を指定することで複数の行に分割出来る変換要素が利用出来るようになりました。
- 変換要素に「列分割」を追加：入力値の任意の列(カラム)に対して条件を指定することで複数の列に分割出来る変換要素が利用出来るようになりました。
v1.7.0(2020/01/21)¶
- Linux版Data Uploaderのリリース：従来Windows環境でのみ導入・利用可能だったData Uploaderに、新しくLinux版が利用出来るようになりました。(導入方法は異なりますが、機能面ではWindows版と同様です)
- 入力要素に『Google Cloud Storage』を追加：データアップロードジョブの入力要素にGCPの「Google Cloud Storage」を指定出来るようになりました。
- 入力要素に『Azure BLOB Storage(Beta)』を追加：データアップロードジョブの入力要素にAzureの「Azure BLOB Storage」を指定出来るようになりました。(※Beta版扱いの機能となります)
- 変換要素の種類に『カラムの追加』を追加：所定の設定値を持つカラムを追加する処理が変換処理の機能として使えるようになりました。
- ジョブの手動実行時にSNS通知設定をオフに出来るように：従来であれば必ずSNS通知が飛ぶ設定となっていましたが、OFFに出来るようになりました。
v1.6.0(2019/11/21)¶
- 「Data Uploader フリー版」をリリースしました：ライセンスフリーで利用出来るData Uploaderを新しくリリースしました。この版には以下の機能制限があります。
- ジョブのスケジュール実行が出来ない：全てのジョブは手動実行のみ可能となります。
- JMC連携オプションを追加：ジョブのJMC連携を行う場合の挙動を選べるようになりました。
v1.5.0(2019/09/17)¶
- 「ファイルアップロード」ジョブが利用可能に：入力ファイルをそのまま出力先へアップロードするジョブが新たに増えました。
- ファイルのワイルドカード指定が可能に：ジョブの「入力」でテキストファイルを扱う際、「ファイルパス」の部分にワイルドカードが指定出来るようになりました。
- ファイルパスのフォルダ指定が可能に：ジョブの「入力」でテキストファイルを扱う際、「ファイルパス」の指定でフォルダ指定が出来るようになりました。
- 変換要素の種類に「パディング」を追加：指定カラムに対するパティング処理が変換処理の機能として使えるようになりました。
- 変換要素の種類に「カラムの並べ替え」を追加：入力情報のカラムの位置を任意の順番に並べ替え出来る処理を変換処理の機能として使えるようになりました。
v1.4.2(2019/07/05)¶
- 時刻情報取得オプションの追加：アプリでの時刻情報取得におけるオプションが指定可能となりました。
v1.4.1(2019/06/27)¶
- JMC連携機能の追加：CSA JMCサーバとの連携(Data Uploaderでのジョブ実行後、そのジョブ終了後に任意のCSA JMC上のジョブを実行)が可能となりました。(※連携に対応しているCSA JMCサーバ環境が必要となります)
- ジョブを実行出来るジョブ：従来のジョブでは「データ連携」及び「構成要素(SQL,Python)」のみが指定可能でしたが、新たに「任意のジョブを指定」して実行出来るようになりました。
v1.4.0(2019/06/03)¶
- 入力要素に「FTP」を追加：データアップロードジョブの入力要素に「FTP接続」を指定出来るようになりました。
- 入力要素に「SFTP」を追加：データアップロードジョブの入力要素に「SFTP接続」を指定出来るようになりました。
- 入力要素に「S3」を追加：データアップロードジョブの入力要素に「S3接続」を指定出来るようになりました。
- プロファイル指定の切替が可能に：データアップロードジョブの入力・出力設定でAmazon S3バケットを指定する際に用いる「プロファイル指定」が任意の値を指定出来るようになりました。予めプロファイル指定を行っておく必要がありますが、この対応でData Uploaderから複数のAWSアカウントに渡るS3バケットのデータを扱えるようになります。
- 通知メール件名に任意のプレフィクス文字を指定可能に：指定文字列を設定する事で、配信されるメールの件名冒頭に任意の文字列を表示出来るようになり、連絡元の識別がし易くなりました。
- S3出力時のファイル形式に「JSONL」を追加：データアップロードジョブの出力指定時のファイル形式で、新たに「JSONL」形式が選択出来るようになりました。
v1.3.0(2019/04/08)¶
- 変換要素の種類に「部分抽出」を追加：『指定された文字位置にある指定された文字数の文字を、文字列から抽出して返す』変換処理が使えるようになりました。Amazon Redshiftにおけるsubstring関数と同様の仕様・挙動となっています。
- 変換要素の種類に「先頭/末尾の文字列を削除」： 『データの先頭、末尾、または両方から文字を削除する』変換処理が使えるようになりました。Amazon Redshiftにおけるtrim関数と同様の仕様・挙動となっています。
- 変換要素の種類に「置換」を追加：条件に合致する文字列の置換処理を変換処理の機能として使えるようになりました。
- 変換要素の種類に「大文字へ変換」を追加：『対象文字列を全て大文字に変換する』変換処理が使えるようになりました。
- 変換要素の種類に「小文字へ変換」を追加：『対象文字列を全て小文字に変換する』変換処理が使えるようになりました。
- 変換要素の種類に「制御文字の削除」を追加：『データの中に含まれる制御文字を削除する』変換処理が使えるようになりました。
- ジョブ一覧画面に、JMCの「実行履歴カウンター」を追加：ジョブ一覧画面に実行履歴カウンターが表示されるようになり、対象ジョブのこれまでの成功・失敗回数(累計)がわかるようになりました。