出力データソース設定¶
当ページでは、Data Uploader上で「ジョブ」内の構成要素となる「出力データソース」を作成・編集する手順について解説します。
出力データソース概要¶
出力データソースの作成・編集は以下赤枠部分の要素で作業を行います。ボックス左下にある鉛筆アイコンをクリックする事で、設定を始める事が出来ます。
この部分の設定を行うと、入力・変換を行ったデータソースの情報を所定のクラウドストレージにアップロード出来るようになります。
v1.12.0時点で選択可能なクラウドストレージは以下の通り。
- Amazon S3
- Google Cloud Storage(GCS)
- Snowflake内部ステージ
S3アップロード設定¶
事前準備¶
当該項目の設定を行うには、予め稼働環境上でのAWS CLI設定を済ませておく必要があります。手順についてはAWS CLI設定をご参照ください。
アップロード設定¶
S3アップロード設定については上記AWS CLIの設定を済ませた上で、必要事項を入力・設定して行います。
Note
アップロード対象となるS3バケットは事前に作成しておいてください。
| 項目 | 説明 |
|---|---|
| 説明 | 出力要素の補足説明文を設定します。 |
| ファイル種別 | アップロードするファイルの種別を指定します。 |
| バケット名 | 対象となるファイルをアップロードするバケットを指定します。(※存在しないバケットを指定した場合へエラーとなります) |
| パス | 対象となるファイルをアップロードするバケット配下のパスを任意の文字列または「組み込み変数」を使って指定します。 ※組み込み変数は「組み込み変数が利用可能です」のリンクをクリックすると凡例ウインドウを参照出来ます。 ※「GUIで選択」ボタンを押下して、パス情報をGUIで選択・入力も可能です。 |
| ファイル名 | 対象となるアップロードファイルの名前を指定します。「組み込み変数」を合わせて使う事も可能です。 |
| アップロード先S3 URIイメージ | 上記設定内容から、実際にファイルがアップロードされるS3のフルパスを生成して表示します。 (※この機能でアップロードされるファイルは全てgz圧縮されます) |
「GUIで選択」を起動した際のUIは以下の通りです。
設定が完了したら[保存]を押下。
以上で「データアップロード」に関する各種設定は完了となります。
GCSアップロード設定¶
事前準備¶
当該項目の設定を行うには、予め稼働環境上でのAWS CLI設定を済ませておく必要があります。手順についてはGCS設定をご参照ください。
アップロード設定¶
GCSアップロード設定については上記GCPの設定を済ませた上で、必要事項を入力・設定して行います。
Note
アップロード対象となるGCSバケットは事前に作成しておいてください。
| 項目 | 説明 |
|---|---|
| 説明 | 出力要素の補足説明文を設定します。 |
| ファイル種別 | アップロードするファイルの種別を指定します。 |
| 区切り文字 | アップロードするファイルの区切り文字を指定します。 |
| GCS接続名 | アップロードに用いるGCS接続名を指定します。 |
| バケット名 | 対象となるファイルをアップロードするバケットを指定します。(※存在しないバケットを指定した場合へエラーとなります) |
| パス | 対象となるファイルをアップロードするバケット配下のパスを任意の文字列または「組み込み変数」を使って指定します。 ※組み込み変数は「組み込み 変数が利用可能です」のリンクをクリックすると凡例ウインドウを参照出来ます。 ※「GUIで選択」ボタンを押下して、パス情報をGUIで選択・入力も可能です。 |
| ファイル名 | 対象となるアップロードファイルの名前を指定します。「組み込み変数」を合わせて使う事も可能です。 |
| アップロード先GCS URIイメージ | 上記設定内容から、実際にファイルがアップロードされるGCSのフルパスを生成して表示します。 (※この機能でアップロード>されるファイルは全てgz圧縮されます) |
設定が完了したら[保存]を押下。
以上で「データアップロード」に関する各種設定は完了となります。
Snowflake内部ステージ設定¶
事前準備¶
当該項目の設定を行うには、予め稼働環境上でのSnowflake内部ステージ設定を済ませておく必要があります。手順についてはSnowflake内部ステージ設定をご参照ください。
また、Snowflakeの内部ステージに関する選択肢それぞれの内容については下記公式ドキュメントをご参照ください。
アップロード設定¶
Snowflake内部ステージ設定については上記設定を済ませた上で、必要事項を入力・設定して行います。
Note
アップロード対象となるSnowflake内部ステージは事前に作成しておいてください。
ユーザーステージの場合¶
| 項目 | 説明 |
|---|---|
| 説明 | 出力要素の補足説明文を設定します。 |
| ファイル種別 | アップロードするファイルの種別を指定します。 |
| 区切り文字 | アップロードするファイルの区切り文字を指定します。 |
| Snowflake接続名 | アップロードに用いるSnowflake内部ステージを指定します。 |
| アップロードステージ | Snowflake内部ステージにおける利用ステージを選択します。 |
| パス | 対象となるファイルをアップロードするステージ配下のパスを任意の文字列または「組み込み変数」を使って指定します。 ※組み込み変数は「組み込み 変数が利用可能です」のリンクをクリックすると凡例ウインドウを参照出来ます。 |
| ファイル名 | 対象となるアップロードファイルの名前を指定します。「組み込み変数」を合わせて使う事も可能です。 |
| アップロード先ファイル名イメージ | 上記設定内容から、実際にファイルがアップロードされるGCSのフルパスを生成して表示します。 (※この機能でアップロー>ド>されるファイルは全てgz圧縮されます) |
テーブルステージの場合¶
| 項目 | 説明 |
|---|---|
| 説明 | 出力要素の補足説明文を設定します。 |
| ファイル種別 | アップロードするファイルの種別を指定します。 |
| 区切り文字 | アップロードするファイルの区切り文字を指定します。 |
| Snowflake接続名 | アップロードに用いるSnowflake内部ステージを指定します。 |
| アップロードステージ | Snowflake内部ステージにおける利用ステージを選択します。 |
| データベース | 接続対象となるSnowflakeデータベースを指定します。 |
| スキーマ | 接続対象となるSnowflakeスキーマを指定します。 |
| テーブル | 接続対象となるSnowflakeテーブルを指定します。 |
| パス | 対象となるファイルをアップロードするステージ配下のパスを任意の文字列または「組み込み変数」を使って指定します。 ※組み込み変数は「組み 変数が利用可能です」のリンクをクリックすると凡例ウインドウを参照出来ます。 |
| ファイル名 | 対象となるアップロードファイルの名前を指定します。「組み込み変数」を合わせて使う事も可能です。 |
| アップロード先ファイル名イメージ | 上記設定内容から、実際にファイルがアップロードされるGCSのフルパスを生成して表示します。 (※この機能でアップロー>ド>されるファイルは全てgz圧縮されます) |
名前付きステージの場合¶
| 項目 | 説明 |
|---|---|
| 説明 | 出力要素の補足説明文を設定します。 |
| ファイル種別 | アップロードするファイルの種別を指定します。 |
| 区切り文字 | アップロードするファイルの区切り文字を指定します。 |
| Snowflake接続名 | アップロードに用いるSnowflake内部ステージを指定します。 |
| アップロードステージ | Snowflake内部ステージにおける利用ステージを選択します。 |
| ステージ名 | アップロード対象となる作成済みステージを指定します。 |
| パス | 対象となるファイルをアップロードするステージ配下のパスを任意の文字列または「組み込み変数」を使って指定します。 ※組み込み変数は「組み 変数が利用可能です」のリンクをクリックすると凡例ウインドウを参照出来ます。 |
| ファイル名 | 対象となるアップロードファイルの名前を指定します。「組み込み変数」を合わせて使う事も可能です。 |
| アップロード先ファイル名イメージ | 上記設定内容から、実際にファイルがアップロードされるGCSのフルパスを生成して表示します。 (※この機能でアップロ ー>ド>されるファイルは全てgz圧縮されます) |
設定が完了したら[保存]を押下。
以上で「データアップロード」に関する各種設定は完了となります。
