出力データソース設定¶

当ページでは、Data Uploader上で「ジョブ」内の構成要素となる「出力データソース」を作成・編集する手順について解説します。

出力データソース概要¶

出力データソースの作成・編集は以下赤枠部分の要素で作業を行います。ボックス左下にある鉛筆アイコンをクリックする事で、設定を始める事が出来ます。

この部分の設定を行うと、入力・変換を行ったデータソースの情報を所定のクラウドストレージにアップロード出来るようになります。

v1.8.0時点で選択可能なクラウドストレージは以下。

当該項目の設定を行うには、予め稼働環境上でのAWS CLI設定を済ませておく必要があります。手順についてはAWS CLI設定をご参照ください。

S3アップロード設定については上記AWS CLIの設定を済ませた上で、必要事項を入力・設定して行います。

Note

アップロード対象となるS3バケットは事前に作成しておいてください。

項目	説明
説明	出力要素の補足説明文を設定します。
ファイル種別	アップロードするファイルの種別を指定します。
バケット名	対象となるファイルをアップロードするバケットを指定します。(※存在しないバケットを指定した場合へエラーとなります)
パス	対象となるファイルをアップロードするバケット配下のパスを任意の文字列または「組み込み変数」を使って指定します。 ※組み込み変数は「組み込み変数が利用可能です」のリンクをクリックすると凡例ウインドウを参照出来ます。 ※「GUIで選択」ボタンを押下して、パス情報をGUIで選択・入力も可能です。
ファイル名	対象となるアップロードファイルの名前を指定します。「組み込み変数」を合わせて使う事も可能です。
アップロード先S3 URIイメージ	上記設定内容から、実際にファイルがアップロードされるS3のフルパスを生成して表示します。 (※この機能でアップロードされるファイルは全てgz圧縮されます)

「GUIで選択」を起動した際のUIは以下の通りです。

設定が完了したら[保存]を押下。

以上で「データアップロード」に関する各種設定は完了となります。

当該項目の設定を行うには、予め稼働環境上でのAWS CLI設定を済ませておく必要があります。手順についてはGCS設定をご参照ください。

GCSアップロード設定については上記GCPの設定を済ませた上で、必要事項を入力・設定して行います。

Note

アップロード対象となるGCSバケットは事前に作成しておいてください。

項目	説明
説明	出力要素の補足説明文を設定します。
ファイル種別	アップロードするファイルの種別を指定します。
区切り文字	アップロードするファイルの区切り文字を指定します。
GCS接続名	アップロードに用いるGCS接続名を指定します。
バケット名	対象となるファイルをアップロードするバケットを指定します。(※存在しないバケットを指定した場合へエラーとなります)
パス	対象となるファイルをアップロードするバケット配下のパスを任意の文字列または「組み込み変数」を使って指定します。 ※組み込み変数は「組み込み変数が利用可能です」のリンクをクリックすると凡例ウインドウを参照出来ます。 ※「GUIで選択」ボタンを押下して、パス情報をGUIで選択・入力も可能です。
ファイル名	対象となるアップロードファイルの名前を指定します。「組み込み変数」を合わせて使う事も可能です。
アップロード先GCS URIイメージ	上記設定内容から、実際にファイルがアップロードされるGCSのフルパスを生成して表示します。 (※この機能でアップロード>されるファイルは全てgz圧縮されます)

設定が完了したら[保存]を押下。

以上で「データアップロード」に関する各種設定は完了となります。