コンテンツにスキップ

当ページでは、Data Uploader上で「ジョブ」内の構成要素となる「入力データソース」を作成・編集する手順について解説します。

入力データソース設定

入力データソースの作成・編集は以下赤枠部分の要素で作業を行います。ボックス左下にある鉛筆アイコンをクリックする事で、設定を始める事が出来ます。

入力データソースでは1つのジョブに対して以下2種類のうちいずれか一つを選択可能です。

  • テキストファイル
    • ローカル接続
    • FTP接続
    • SFTP接続
    • S3接続
    • Google Cloud Storage接続
    • Azure Blob Storage接続(Beta)
  • データベース
    • ODBC接続

入力データソース設定

テキストファイル

ローカル接続

入力データソース設定で「ローカル接続」を選択すると、CSA Data Uploaderをインストールしたマシン上に存在するテキストファイルを入力データソースとして設定出来るようになります。

入力種別に「ローカル接続」を選択した際の設定項目は以下の通りです。

項目説明
説明 入力データソースに設定した
テキストファイルに関する説明文を設定出来ます。
ファイル/フォルダパス 参照するファイルのフルパスを設定。
入力パスイメージ 指定した内容をフルパス文字列で表示します。
文字コード 参照するファイルの文字コードを設定。
参照したファイルは処理の過程でutf8のファイルとして処理します。
区切り文字 参照するファイルの区切り文字を指定。
圧縮種別 参照するファイルの圧縮有無及び圧縮のタイプを指定。
現時点では選択可能な圧縮種別はgzip(.gz)のみです。
ファイルヘッダー 参照するファイルのヘッダ行の有無を設定。

対応するファイルにおける各種設定を行い、[読み込みテスト]でファイルが参照出来る事を確認後、[保存]を押下。以下の様な形で入力データソースが作成されました。

FTP接続

入力データソース設定で「FTP接続」を選択すると、予め作成・設定しておいたFTP接続設定を使って任意のFTPサーバからデータ抽出を行う処理をCSA Data Uploader上で作成出来るようになります。

入力種別に「FTP接続」を選択した際の設定項目は以下の通りです。

項目説明
説明入力データソースに設定したFTP接続に関する説明文を設定出来ます。
FTP接続名予め作成・設定したFTP接続を指定。
ファイルパスFTP接続設定を使って抽出したいデータのファイルパスを指定。
入力パスイメージ 指定した内容をフルパス文字列で表示します。
文字コード対象ファイルの文字コードを指定。
区切り文字対象ファイルの区切り文字を指定。
圧縮ファイル種別対象ファイルの圧縮ファイル種別を指定。
ファイルヘッダー対象ファイルのファイルヘッダー有無を指定。

対応するFTP接続における各種設定を行い、[読み込みテスト]でファイル連携が行える事を確認後、[保存]を押下。以下の様な形で入力データソースが作成されました。

SFTP接続

入力データソース設定で「SFTP接続」を選択すると、予め作成・設定しておいたSFTP接続設定を使って任意のSFTPサーバからデータ抽出を行う処理をCSA Data Uploader上で作成出来るようになります。

入力種別に「SFTP接続」を選択した際の設定項目は以下の通りです。

項目説明
説明入力データソースに設定したSFTP接続に関する説明文を設定出来ます。
FTP接続名予め作成・設定したSFTP接続を指定。
ファイルパスSFTP接続設定を使って抽出したいデータのファイルパスを指定。
入力パスイメージ 指定した内容をフルパス文字列で表示します。
文字コード対象ファイルの文字コードを指定。
区切り文字対象ファイルの区切り文字を指定。
圧縮ファイル種別対象ファイルの圧縮ファイル種別を指定。
ファイルヘッダー対象ファイルのファイルヘッダー有無を指定。

対応するSFTP接続における各種設定を行い、[読み込みテスト]でファイル連携が行える事を確認後、[保存]を押下。以下の様な形で入力データソースが作成されました。

S3接続

入力データソース設定で「S3接続」を選択すると、任意のAmazon S3バケットへの接続を行い、入力データソースにAmazon S3上のファイルを作成出来るようになります。

入力種別に「S3接続」を選択した際の設定項目は以下の通りです。

Note

入力対象となるS3バケットは事前に作成・用意しておいてください。

項目説明
説明 出力要素の補足説明文を設定します。
ファイル種別 アップロードするファイルの種別を指定します。
AWSプロファイル名 S3アクセス時に用いるAWSプロファイル名を指定します。(※利用するプロファイルについては予め設定しておいてください)
バケット名 対象となるファイルをアップロードするバケットを指定します。(※存在しないバケットを指定した場合へ エラーとなります)
ファイルパス 対象となるファイルをアップロードするバケット配下のパスを任意の文字列または「組み込み変数」を使って指定します。
※組み込み変数は「組み込み変数が利用可能です」のリンクをクリックすると凡例ウインドウを参照出来ます。
※「GUIで選択」ボタンを押下して、パス情報をGUIで選択・入力も可能です。
入力パスイメージ 上記設定内容から、実際にファイルがアップロードされるS3のフルパスを生成して表 示します。
(※この機能でアップロードされるファイルは全てgz圧縮されます)
区切り文字 対象ファイルで設定されている区切り文字を指定します。
圧縮種別 対象ファイルで設定されている圧縮種別を指定します。
ファイルヘッダー 対象ファイルで設定されているヘッダー有無を指定します。

対応するS3接続における各種設定を行い、[読み込みテスト]でファイル連携が行える事を確認後、[保存]を押下。以下の様な形で入力データソースが作成されました。

Google Cloud Storage接続

入力データソース設定で「Google Cloud Storage接続」を選択すると、接続設定で定めているGoogle Cloud Storageの情報をを入力データソースとして設定出来るようになります。

入力種別に「Google Cloud Storage接続」を選択した際の設定項目は以下の通りです。

項目説明
説明入力データソースに設定したGoogle Cloud Storage接続に関する説明文を設定出来ます。
GCS接続名予め作成・設定したGoogle Cloud Storage接続を指定。
バケット名Google Cloud Storage接続設定を使って抽出したいデータのGCSバケット名を指定。
ファイル/フォルダパスGoogle Cloud Storage接続設定を使って抽出したいデータのGCSバケット名配下のフォルダ及びファイルパスを指定。
入力パスイメージ 指定した内容をフルパス文字列で表示します。
文字コード対象ファイルの文字コードを指定。
区切り文字対象ファイルの区切り文字を指定。
圧縮ファイル種別対象ファイルの圧縮ファイル種別を指定。
ファイルヘッダー対象ファイルのファイルヘッダー有無を指定。

対応するGoogle Cloud Storage接続における各種設定を行い、[読み込みテスト]でファイル連携が行える事を確認後、[保存]を押下。以下の様な形で入力データソースが作成>されました。

Azure BLOB Storage接続(Beta)

入力データソース設定で「Google Cloud Storage接続」を選択すると、接続設定で定めているAzure BLOB Storageの情報をを入力データソースとして設定出来るようになります。

入力種別に「Azure BLOB Storage接続」を選択した際の設定項目は以下の通りです。

項目説明
説明入力データソースに設定したAzure BLOB Storage接続に関する説明文を設定出来ます。
Azure BLOB Storage接続名予め作成・設定したAzure BLOB Storage接続を指定。
コンテナー名Azure BLOB Storage接続設定を使って抽出したいデータのコンテナー名を指定。
ファイル/フォルダパスAzure BLOB Storage接続設定を使って抽出したいデータのAzure BLOB Storageコンテナー名配下のフォルダ及びファイルパスを指定。
入力パスイメージ 指定した内容をフルパス文字列で表示します。
文字コード対象ファイルの文字コードを指定。
区切り文字対象ファイルの区切り文字を指定。
圧縮ファイル種別対象ファイルの圧縮ファイル種別を指定。
ファイルヘッダー対象ファイルのファイルヘッダー有無を指定。

対応するAzure BLOB Storage接続における各種設定を行い、[読み込みテスト]でファイル連携が行える事を確認後、[保存]を押下。以下の様な形で入力データソースが作成>されました。

データベース

ODBC接続

入力データソース設定で「ODBC接続」を選択すると、予め作成・設定しておいたODBC接続設定を使って任意のDBからデータ抽出を行う処理をCSA Data Uploader上で作成出来るようになります。

入力種別に「ODBC接続」を選択した際の設定項目は以下の通りです。

項目説明
説明 入力データソースに設定したODBC接続に関する説明文を設定出来ます。
データソース名 予め作成・設定したODBC接続を指定。
クエリ ODBC接続設定を使って抽出したいデータの内容を取得するSQL(SELECT文)を記述。

Note

「クエリ」に設定するSQL文はサブクエリを使わず、極力単純なSELECT文を記述するようにしてください。

対応するODBC接続における各種設定を行い、[クエリテスト]でSQLが実行出来る事を確認後、[保存]を押下。以下の様な形で入力データソースが作成されま>した。

入力データソースの内容を確認(プレビュー表示)

入力データソースとして設定した要素は、サンプリングした内容を画面経由で参照・確認可能です。

入力データソース右横にある「データ表示」のアイコンをクリックすると、

以下の様にデータの内容を表示するウインドウが立ち上がり、確認する事が出来ます。

Note

テキストファイル・ODBC接続のプレビュー表示は、いずれの場合も先頭5件を表示する形となっています。

ファイルパスのフォルダ指定

入力データソース設定画面の「ファイルパス」では、以下入力種別を選択した場合に「入力パスのフォルダ指定」が可能となります。

  • テキストファイル
  • FTP
  • SFTP
  • S3
  • Google Cloud Storage
  • Azure Blob Storage(Beta)

画面UIや挙動に関する仕様は以下の通りです。

  • 「GUIで選択」ダイアログで、フォルダも選択可能に
  • ファイルパスにフォルダが指定されていた場合、配下の全ファイルを対象に取り込みを実施
  • 指定フォルダ配下にフォルダが含まれていた場合、そのフォルダ配下のファイルは対象としません(入れ子部分は見ない)

ファイルパスのワイルドカード指定

入力データソース設定画面の「ファイルパス」では、以下入力種別を選択した場合に「入力パスのワイルドカード指定」が可能となります。

  • テキストファイル
  • FTP
  • SFTP
  • S3
  • Google Cloud Storage
  • Azure Blob Storage(Beta)

ワイルドカード指定については以下ドキュメントをご参照下さい。

Note

本来S3/FTP/SFTP本体では「パスのワイルドカード指定」はサポートされていませんが、
CSA Data Uploaderでは入力されたワイルドカード指定内容を変換し、参照・利用可能な
形としています。