出力データソース設定¶
当ページでは、Data Uploader上で「ジョブ」内の構成要素となる「出力データソース」を作成・編集する手順について解説します。
出力データソース概要¶
出力データソースの編集は以下赤枠部分の要素で作業を行います。ボックス右上にある鉛筆アイコンをクリックする事で、設定を始める事が出来ます。
ボックスが無い場合は、画面左上の[出力]よりデータソースを選択します。
この部分の設定を行うと、入力・変換を行ったデータソースの情報を所定のクラウドストレージにアップロード出来るようになります。
v1.14.0時点で選択可能なクラウドストレージは以下の通りです。
- Amazon S3
- Google Cloud Storage(GCS)
- Googleドライブ
- Snowflake内部ステージ
S3アップロード設定¶
事前準備¶
当該項目の設定を行うには、予め稼働環境上でのAWS CLI設定を済ませておく必要があります。手順についてはAWS CLI設定をご参照ください。
アップロード設定¶
S3アップロード設定については上記AWS CLIの設定を済ませた上で、必要事項を入力・設定して行います。
Note
アップロード対象となるS3バケットは事前に作成しておいてください。
| 項目 | 説明 |
|---|---|
| 説明 | 出力要素の補足説明文を設定します。 |
| ファイル種別 | アップロードするファイルの種別を指定します。 |
| バケット名 | 対象となるファイルをアップロードするバケットを指定します。(※存在しないバケットを指定した場合へエラーとなります) |
| パス | 対象となるファイルをアップロードするバケット配下のパスを任意の文字列または「組み込み変数」を使って指定します。 ※組み込み変数は「組み込み変数が利用可能です」のリンクをクリックすると凡例ウインドウを参照出来ます。 ※「GUIで選択」ボタンを押下して、パス情報をGUIで選択・入力も可能です。 |
| ファイル名 | 対象となるアップロードファイルの名前を指定します。「組み込み変数」を合わせて使う事も可能です。 |
| アップロード先S3 URIイメージ | 上記設定内容から、実際にファイルがアップロードされるS3のフルパスを生成して表示します。 (※この機能でアップロードされるファイルは全てgz圧縮されます) |
「GUIで選択」を起動した際のUIは以下の通りです。
設定が完了したら[保存]を押下。
以上で「データアップロード」に関する各種設定は完了となります。
GCSアップロード設定¶
事前準備¶
当該項目の設定を行うには、予め稼働環境上でのAWS CLI設定を済ませておく必要があります。手順についてはGCS設定をご参照ください。
アップロード設定¶
GCSアップロード設定については上記GCPの設定を済ませた上で、必要事項を入力・設定して行います。
Note
アップロード対象となるGCSバケットは事前に作成しておいてください。
| 項目 | 説明 |
|---|---|
| 説明 | 出力要素の補足説明文を設定します。 |
| ファイル種別 | アップロードするファイルの種別を指定します。 |
| 区切り文字 | アップロードするファイルの区切り文字を指定します。 |
| GCS接続名 | アップロードに用いるGCS接続名を指定します。 |
| バケット名 | 対象となるファイルをアップロードするバケットを指定します。(※存在しないバケットを指定した場合へエラーとなります) |
| パス | 対象となるファイルをアップロードするバケット配下のパスを任意の文字列または「組み込み変数」を使って指定します。 ※組み込み変数は「組み込み 変数が利用可能です」のリンクをクリックすると凡例ウインドウを参照出来ます。 ※「GUIで選択」ボタンを押下して、パス情報をGUIで選択・入力も可能です。 |
| ファイル名 | 対象となるアップロードファイルの名前を指定します。「組み込み変数」を合わせて使う事も可能です。 |
| アップロード先GCS URIイメージ | 上記設定内容から、実際にファイルがアップロードされるGCSのフルパスを生成して表示します。 (※この機能でアップロードされるファイルは全てgz圧縮されます) |
設定が完了したら[保存]を押下。
以上で「データアップロード」に関する各種設定は完了となります。
Googleドライブアップロード設定¶
事前準備¶
当該項目の設定を行うには、予め稼働環境上でのGoogleドライブ接続設定を済ませておく必要があります。手順についてはGoogleドライブ利用設定をご参照ください。
アップロード設定¶
Googleドライブ接続設定については上記GCPの設定を済ませた上で、必要事項を入力・設定して行います。
| 項目 | 説明 |
|---|---|
| 説明 | 出力要素の補足説明文を設定します。 |
| ファイル種別 | アップロードするファイルの種別を指定します。 |
| 区切り文字 | アップロードするファイルの区切り文字を指定します。 |
| Googleドライブ接続名 | アップロードに用いるGoogleドライブ接続名を指定します。 |
| パス | 対象となるファイルをアップロードするパスを任意の文字列または「組み込み変数」を使って指定します。 ※組み込み変数は「組み込み 変数が利用可能です」のリンクをクリックすると凡例ウインドウを参照出来ます。 ※「GUIで選択」ボタンを押下して、パス情報をGUIで選択・入力も可能です。 |
| ファイル名 | 対象となるアップロードファイルの名前を指定します。「組み込み変数」を合わせて使う事も可能です。 |
| アップロード先URIイメージ | 上記設定内容から、実際にファイルがアップロードされるGoogleドライブのフルパスを生成して表示します。 (※この機能でアップロードされるファイルは全てgz圧縮されます) |
設定が完了したら[保存]を押下。
以上で「データアップロード」に関する各種設定は完了となります。
Snowflake内部ステージ設定¶
事前準備¶
当該項目の設定を行うには、予め稼働環境上でのSnowflake内部ステージ設定を済ませておく必要があります。手順についてはSnowflake内部ステージ設定をご参照ください。
また、Snowflakeの内部ステージに関する選択肢それぞれの内容については下記公式ドキュメントをご参照ください。
アップロード設定¶
Snowflake内部ステージ設定については上記設定を済ませた上で、必要事項を入力・設定して行います。
Note
アップロード対象となるSnowflake内部ステージは事前に作成しておいてください。
ユーザーステージの場合¶
| 項目 | 説明 |
|---|---|
| 説明 | 出力要素の補足説明文を設定します。 |
| ファイル種別 | アップロードするファイルの種別を指定します。 |
| 区切り文字 | アップロードするファイルの区切り文字を指定します。 |
| Snowflake接続名 | アップロードに用いるSnowflake内部ステージを指定します。 |
| アップロードステージ | Snowflake内部ステージにおける利用ステージを選択します。 |
| パス | 対象となるファイルをアップロードするステージ配下のパスを任意の文字列または「組み込み変数」を使って指定します。 ※組み込み変数は「組み込み 変数が利用可能です」のリンクをクリックすると凡例ウインドウを参照出来ます。 |
| ファイル名 | 対象となるアップロードファイルの名前を指定します。「組み込み変数」を合わせて使う事も可能です。 |
| アップロード先ファイル名イメージ | 上記設定内容から、実際にファイルがアップロードされるGCSのフルパスを生成して表示します。 (※この機能でアップロードされるファイルは全てgz圧縮されます) |
テーブルステージの場合¶
| 項目 | 説明 |
|---|---|
| 説明 | 出力要素の補足説明文を設定します。 |
| ファイル種別 | アップロードするファイルの種別を指定します。 |
| 区切り文字 | アップロードするファイルの区切り文字を指定します。 |
| Snowflake接続名 | アップロードに用いるSnowflake内部ステージを指定します。 |
| アップロードステージ | Snowflake内部ステージにおける利用ステージを選択します。 |
| データベース | 接続対象となるSnowflakeデータベースを指定します。 |
| スキーマ | 接続対象となるSnowflakeスキーマを指定します。 |
| テーブル | 接続対象となるSnowflakeテーブルを指定します。 |
| パス | 対象となるファイルをアップロードするステージ配下のパスを任意の文字列または「組み込み変数」を使って指定します。 ※組み込み変数は「組み 変数が利用可能です」のリンクをクリックすると凡例ウインドウを参照出来ます。 |
| ファイル名 | 対象となるアップロードファイルの名前を指定します。「組み込み変数」を合わせて使う事も可能です。 |
| アップロード先ファイル名イメージ | 上記設定内容から、実際にファイルがアップロードされるGCSのフルパスを生成して表示します。 (※この機能でアップロードされるファイルは全てgz圧縮されます) |
名前付きステージの場合¶
| 項目 | 説明 |
|---|---|
| 説明 | 出力要素の補足説明文を設定します。 |
| ファイル種別 | アップロードするファイルの種別を指定します。 |
| 区切り文字 | アップロードするファイルの区切り文字を指定します。 |
| Snowflake接続名 | アップロードに用いるSnowflake内部ステージを指定します。 |
| アップロードステージ | Snowflake内部ステージにおける利用ステージを選択します。 |
| ステージ名 | アップロード対象となる作成済みステージを指定します。 |
| パス | 対象となるファイルをアップロードするステージ配下のパスを任意の文字列または「組み込み変数」を使って指定します。 ※組み込み変数は「組み 変数が利用可能です」のリンクをクリックすると凡例ウインドウを参照出来ます。 |
| ファイル名 | 対象となるアップロードファイルの名前を指定します。「組み込み変数」を合わせて使う事も可能です。 |
| アップロード先ファイル名イメージ | 上記設定内容から、実際にファイルがアップロードされるGCSのフルパスを生成して表示します。 (※この機能でアップロードされるファイルは全てgz圧縮されます) |
設定が完了したら[保存]を押下。
以上で「データアップロード」に関する各種設定は完了となります。
入力データソースの圧縮種別がzipのデータについて¶
圧縮種別がzip形式のファイルは以下のような特徴があります。
『ZIPファイルフォーマット（以下ZIPフォーマット、またはZIP）は複数のファイルを一つのファイルとしてまとめて取り扱うアーカイブフォーマットであり、1つ以上のファイルが格納されているものである。』
アップロードジョブを実行時、zipファイルは解凍されます。zipファイルの中にフォルダが存在する場合、クラウドストレージによってはフォルダにファイルを含んだ形でアップロードします。
クラウドストレージ別アップロード先パス例¶
解凍すると「sampleフォルダ/sample.csv」となる「sample.zip」を入力データソースとして指定した場合の、クラウドストレージ別アップロード先パスの例となります。
- Amazon S3
- sampleフォルダ/sample.csv.gz
- Google Cloud Storage(GCS)
- sampleフォルダ/sample.csv.gz
- Googleドライブ
- sample/sample.csv.gz(sampleフォルダは作成されず「/」を含んだ一つのファイルとなる)
- Snowflake内部ステージ
- sample.csv.gz(sampleフォルダは作成されない)