当ページでは、Data Uploader上で「ジョブ」内の構成要素となる「入力データソース」を作成・編集する手順について解説します。

入力データソース設定¶

入力データソースの作成・編集は以下赤枠部分の要素で作業を行います。ボックス左下にある鉛筆アイコンをクリックする事で、設定を始める事が出来ます。

入力データソースでは1つのジョブに対して以下2種類のうちいずれか一つを選択可能です。

テキストファイル
- ローカル接続
- FTP接続
- SFTP接続
- S3接続
- Google Cloud Storage接続
- Azure Blob Storage接続(Beta)
データベース
- ODBC接続

入力データソース設定¶

テキストファイル¶

ローカル接続¶

入力データソース設定で「ローカル接続」を選択すると、CSA Data Uploaderをインストールしたマシン上に存在するテキストファイルを入力データソースとして設定出来るようになります。

入力種別に「ローカル接続」を選択した際の設定項目は以下の通りです。

項目	説明
説明	入力データソースに設定したテキストファイルに関する説明文を設定出来ます。
ファイル/フォルダパス	参照するファイルのフルパスを設定。
入力パスイメージ	指定した内容をフルパス文字列で表示します。
文字コード	参照するファイルの文字コードを設定。参照したファイルは処理の過程でutf8のファイルとして処理します。
区切り文字	参照するファイルの区切り文字を指定。
圧縮種別	参照するファイルの圧縮有無及び圧縮のタイプを指定。現時点では選択可能な圧縮種別はgzip(.gz)のみです。
ファイルヘッダー	参照するファイルのヘッダ行の有無を設定。

対応するファイルにおける各種設定を行い、[読み込みテスト]でファイルが参照出来る事を確認後、[保存]を押下。以下の様な形で入力データソースが作成されました。

FTP接続¶

入力データソース設定で「FTP接続」を選択すると、予め作成・設定しておいたFTP接続設定を使って任意のFTPサーバからデータ抽出を行う処理をCSA Data Uploader上で作成出来るようになります。

入力種別に「FTP接続」を選択した際の設定項目は以下の通りです。

項目	説明
説明	入力データソースに設定したFTP接続に関する説明文を設定出来ます。
FTP接続名	予め作成・設定したFTP接続を指定。
ファイルパス	FTP接続設定を使って抽出したいデータのファイルパスを指定。
入力パスイメージ	指定した内容をフルパス文字列で表示します。
文字コード	対象ファイルの文字コードを指定。
区切り文字	対象ファイルの区切り文字を指定。
圧縮ファイル種別	対象ファイルの圧縮ファイル種別を指定。
ファイルヘッダー	対象ファイルのファイルヘッダー有無を指定。

対応するFTP接続における各種設定を行い、[読み込みテスト]でファイル連携が行える事を確認後、[保存]を押下。以下の様な形で入力データソースが作成されました。

SFTP接続¶

入力データソース設定で「SFTP接続」を選択すると、予め作成・設定しておいたSFTP接続設定を使って任意のSFTPサーバからデータ抽出を行う処理をCSA Data Uploader上で作成出来るようになります。

入力種別に「SFTP接続」を選択した際の設定項目は以下の通りです。

項目	説明
説明	入力データソースに設定したSFTP接続に関する説明文を設定出来ます。
FTP接続名	予め作成・設定したSFTP接続を指定。
ファイルパス	SFTP接続設定を使って抽出したいデータのファイルパスを指定。
入力パスイメージ	指定した内容をフルパス文字列で表示します。
文字コード	対象ファイルの文字コードを指定。
区切り文字	対象ファイルの区切り文字を指定。
圧縮ファイル種別	対象ファイルの圧縮ファイル種別を指定。
ファイルヘッダー	対象ファイルのファイルヘッダー有無を指定。

対応するSFTP接続における各種設定を行い、[読み込みテスト]でファイル連携が行える事を確認後、[保存]を押下。以下の様な形で入力データソースが作成されました。

S3接続¶

入力データソース設定で「S3接続」を選択すると、任意のAmazon S3バケットへの接続を行い、入力データソースにAmazon S3上のファイルを作成出来るようになります。

入力種別に「S3接続」を選択した際の設定項目は以下の通りです。

Note

入力対象となるS3バケットは事前に作成・用意しておいてください。

項目	説明
説明	出力要素の補足説明文を設定します。
ファイル種別	アップロードするファイルの種別を指定します。
AWSプロファイル名	S3アクセス時に用いるAWSプロファイル名を指定します。(※利用するプロファイルについては予め設定しておいてください)
バケット名	対象となるファイルをアップロードするバケットを指定します。(※存在しないバケットを指定した場合へエラーとなります)
ファイルパス	対象となるファイルをアップロードするバケット配下のパスを任意の文字列または「組み込み変数」を使って指定します。 ※組み込み変数は「組み込み変数が利用可能です」のリンクをクリックすると凡例ウインドウを参照出来ます。 ※「GUIで選択」ボタンを押下して、パス情報をGUIで選択・入力も可能です。
入力パスイメージ	上記設定内容から、実際にファイルがアップロードされるS3のフルパスを生成して表示します。 (※この機能でアップロードされるファイルは全てgz圧縮されます)
区切り文字	対象ファイルで設定されている区切り文字を指定します。
圧縮種別	対象ファイルで設定されている圧縮種別を指定します。
ファイルヘッダー	対象ファイルで設定されているヘッダー有無を指定します。

対応するS3接続における各種設定を行い、[読み込みテスト]でファイル連携が行える事を確認後、[保存]を押下。以下の様な形で入力データソースが作成されました。

Google Cloud Storage接続¶

入力データソース設定で「Google Cloud Storage接続」を選択すると、接続設定で定めているGoogle Cloud Storageの情報をを入力データソースとして設定出来るようになります。

入力種別に「Google Cloud Storage接続」を選択した際の設定項目は以下の通りです。

項目	説明
説明	入力データソースに設定したGoogle Cloud Storage接続に関する説明文を設定出来ます。
GCS接続名	予め作成・設定したGoogle Cloud Storage接続を指定。
バケット名	Google Cloud Storage接続設定を使って抽出したいデータのGCSバケット名を指定。
ファイル/フォルダパス	Google Cloud Storage接続設定を使って抽出したいデータのGCSバケット名配下のフォルダ及びファイルパスを指定。
入力パスイメージ	指定した内容をフルパス文字列で表示します。
文字コード	対象ファイルの文字コードを指定。
区切り文字	対象ファイルの区切り文字を指定。
圧縮ファイル種別	対象ファイルの圧縮ファイル種別を指定。
ファイルヘッダー	対象ファイルのファイルヘッダー有無を指定。

対応するGoogle Cloud Storage接続における各種設定を行い、[読み込みテスト]でファイル連携が行える事を確認後、[保存]を押下。以下の様な形で入力データソースが作成>されました。

Azure BLOB Storage接続(Beta)¶

入力データソース設定で「Google Cloud Storage接続」を選択すると、接続設定で定めているAzure BLOB Storageの情報をを入力データソースとして設定出来るようになります。

入力種別に「Azure BLOB Storage接続」を選択した際の設定項目は以下の通りです。

項目	説明
説明	入力データソースに設定したAzure BLOB Storage接続に関する説明文を設定出来ます。
Azure BLOB Storage接続名	予め作成・設定したAzure BLOB Storage接続を指定。
コンテナー名	Azure BLOB Storage接続設定を使って抽出したいデータのコンテナー名を指定。
ファイル/フォルダパス	Azure BLOB Storage接続設定を使って抽出したいデータのAzure BLOB Storageコンテナー名配下のフォルダ及びファイルパスを指定。
入力パスイメージ	指定した内容をフルパス文字列で表示します。
文字コード	対象ファイルの文字コードを指定。
区切り文字	対象ファイルの区切り文字を指定。
圧縮ファイル種別	対象ファイルの圧縮ファイル種別を指定。
ファイルヘッダー	対象ファイルのファイルヘッダー有無を指定。

対応するAzure BLOB Storage接続における各種設定を行い、[読み込みテスト]でファイル連携が行える事を確認後、[保存]を押下。以下の様な形で入力データソースが作成>されました。

データベース¶

ODBC接続¶

入力データソース設定で「ODBC接続」を選択すると、予め作成・設定しておいたODBC接続設定を使って任意のDBからデータ抽出を行う処理をCSA Data Uploader上で作成出来るようになります。

入力種別に「ODBC接続」を選択した際の設定項目は以下の通りです。

項目	説明
説明	入力データソースに設定したODBC接続に関する説明文を設定出来ます。
データソース名	予め作成・設定したODBC接続を指定。
文字コード	入力データの文字コードを指定。
クエリ	ODBC接続設定を使って抽出したいデータの内容を取得するSQL(SELECT文)を記述。