当ページでは、Data Uploader上で「ジョブ」内の構成要素となる「入力データソース」を作成・編集する手順について解説します。
入力データソース設定
入力データソースの作成・編集は以下赤枠部分の要素で作業を行います。ボックス左下にある鉛筆アイコンをクリックする事で、設定を始める事が出来ます。
入力データソースでは1つのジョブに対して以下2種類のうちいずれか一つを選択可能です。
- テキストファイル
- ローカル接続
- FTP接続
- SFTP接続
- S3接続
- Google Cloud Storage接続
- Azure Blob Storage接続(Beta)
- データベース
- ODBC接続
入力データソース設定
テキストファイル
ローカル接続
入力データソース設定で「ローカル接続」を選択すると、CSA Data Uploaderをインストールしたマシン上に存在するテキストファイルを入力データソースとして設定出来るようになります。
入力種別に「ローカル接続」を選択した際の設定項目は以下の通りです。
| 項目 | 説明 |
|---|---|
| 説明 | 入力データソースに設定した テキストファイルに関する説明文を設定出来ます。 |
| ファイル/フォルダパス | 参照するファイルのフルパスを設定。 |
| 入力パスイメージ | 指定した内容をフルパス文字列で表示します。 |
| 文字コード | 参照するファイルの文字コードを設定。 参照したファイルは処理の過程でutf8のファイルとして処理します。 |
| 区切り文字 | 参照するファイルの区切り文字を指定。 |
| 圧縮種別 | 参照するファイルの圧縮有無及び圧縮のタイプを指定。 現時点では選択可能な圧縮種別はgzip(.gz)のみです。 |
| ファイルヘッダー | 参照するファイルのヘッダ行の有無を設定。 |
対応するファイルにおける各種設定を行い、[読み込みテスト]でファイルが参照出来る事を確認後、[保存]を押下。以下の様な形で入力データソースが作成されました。
FTP接続
入力データソース設定で「FTP接続」を選択すると、予め作成・設定しておいたFTP接続設定を使って任意のFTPサーバからデータ抽出を行う処理をCSA Data Uploader上で作成出来るようになります。
入力種別に「FTP接続」を選択した際の設定項目は以下の通りです。
| 項目 | 説明 |
|---|---|
| 説明 | 入力データソースに設定したFTP接続に関する説明文を設定出来ます。 |
| FTP接続名 | 予め作成・設定したFTP接続を指定。 |
| ファイルパス | FTP接続設定を使って抽出したいデータのファイルパスを指定。 |
| 入力パスイメージ | 指定した内容をフルパス文字列で表示します。 |
| 文字コード | 対象ファイルの文字コードを指定。 |
| 区切り文字 | 対象ファイルの区切り文字を指定。 |
| 圧縮ファイル種別 | 対象ファイルの圧縮ファイル種別を指定。 |
| ファイルヘッダー | 対象ファイルのファイルヘッダー有無を指定。 |
対応するFTP接続における各種設定を行い、[読み込みテスト]でファイル連携が行える事を確認後、[保存]を押下。以下の様な形で入力データソースが作成されました。
SFTP接続
入力データソース設定で「SFTP接続」を選択すると、予め作成・設定しておいたSFTP接続設定を使って任意のSFTPサーバからデータ抽出を行う処理をCSA Data Uploader上で作成出来るようになります。
入力種別に「SFTP接続」を選択した際の設定項目は以下の通りです。
| 項目 | 説明 |
|---|---|
| 説明 | 入力データソースに設定したSFTP接続に関する説明文を設定出来ます。 |
| FTP接続名 | 予め作成・設定したSFTP接続を指定。 |
| ファイルパス | SFTP接続設定を使って抽出したいデータのファイルパスを指定。 |
| 入力パスイメージ | 指定した内容をフルパス文字列で表示します。 |
| 文字コード | 対象ファイルの文字コードを指定。 |
| 区切り文字 | 対象ファイルの区切り文字を指定。 |
| 圧縮ファイル種別 | 対象ファイルの圧縮ファイル種別を指定。 |
| ファイルヘッダー | 対象ファイルのファイルヘッダー有無を指定。 |
対応するSFTP接続における各種設定を行い、[読み込みテスト]でファイル連携が行える事を確認後、[保存]を押下。以下の様な形で入力データソースが作成されました。
S3接続
入力データソース設定で「S3接続」を選択すると、任意のAmazon S3バケットへの接続を行い、入力データソースにAmazon S3上のファイルを作成出来るようになります。
入力種別に「S3接続」を選択した際の設定項目は以下の通りです。
Note
入力対象となるS3バケットは事前に作成・用意しておいてください。
| 項目 | 説明 |
|---|---|
| 説明 | 出力要素の補足説明文を設定します。 |
| ファイル種別 | アップロードするファイルの種別を指定します。 |
| AWSプロファイル名 | S3アクセス時に用いるAWSプロファイル名を指定します。(※利用するプロファイルについては予め設定しておいてください) |
| バケット名 | 対象となるファイルをアップロードするバケットを指定します。(※存在しないバケットを指定した場合へ エラーとなります) |
| ファイルパス | 対象となるファイルをアップロードするバケット配下のパスを任意の文字列または「組み込み変数」を使って指定します。 ※組み込み変数は「組み込み変数が利用可能です」のリンクをクリックすると凡例ウインドウを参照出来ます。 ※「GUIで選択」ボタンを押下して、パス情報をGUIで選択・入力も可能です。 |
| 入力パスイメージ | 上記設定内容から、実際にファイルがアップロードされるS3のフルパスを生成して表
示します。 (※この機能でアップロードされるファイルは全てgz圧縮されます) |
| 区切り文字 | 対象ファイルで設定されている区切り文字を指定します。 |
| 圧縮種別 | 対象ファイルで設定されている圧縮種別を指定します。 |
| ファイルヘッダー | 対象ファイルで設定されているヘッダー有無を指定します。 |
対応するS3接続における各種設定を行い、[読み込みテスト]でファイル連携が行える事を確認後、[保存]を押下。以下の様な形で入力データソースが作成されました。
Google Cloud Storage接続
入力データソース設定で「Google Cloud Storage接続」を選択すると、接続設定で定めているGoogle Cloud Storageの情報をを入力データソースとして設定出来るようになります。
入力種別に「Google Cloud Storage接続」を選択した際の設定項目は以下の通りです。
| 項目 | 説明 |
|---|---|
| 説明 | 入力データソースに設定したGoogle Cloud Storage接続に関する説明文を設定出来ます。 |
| GCS接続名 | 予め作成・設定したGoogle Cloud Storage接続を指定。 |
| バケット名 | Google Cloud Storage接続設定を使って抽出したいデータのGCSバケット名を指定。 |
| ファイル/フォルダパス | Google Cloud Storage接続設定を使って抽出したいデータのGCSバケット名配下のフォルダ及びファイルパスを指定。 |
| 入力パスイメージ | 指定した内容をフルパス文字列で表示します。 |
| 文字コード | 対象ファイルの文字コードを指定。 |
| 区切り文字 | 対象ファイルの区切り文字を指定。 |
| 圧縮ファイル種別 | 対象ファイルの圧縮ファイル種別を指定。 |
| ファイルヘッダー | 対象ファイルのファイルヘッダー有無を指定。 |
対応するGoogle Cloud Storage接続における各種設定を行い、[読み込みテスト]でファイル連携が行える事を確認後、[保存]を押下。以下の様な形で入力データソースが作成>されました。
Azure BLOB Storage接続(Beta)
入力データソース設定で「Google Cloud Storage接続」を選択すると、接続設定で定めているAzure BLOB Storageの情報をを入力データソースとして設定出来るようになります。
入力種別に「Azure BLOB Storage接続」を選択した際の設定項目は以下の通りです。
| 項目 | 説明 |
|---|---|
| 説明 | 入力データソースに設定したAzure BLOB Storage接続に関する説明文を設定出来ます。 |
| Azure BLOB Storage接続名 | 予め作成・設定したAzure BLOB Storage接続を指定。 |
| コンテナー名 | Azure BLOB Storage接続設定を使って抽出したいデータのコンテナー名を指定。 |
| ファイル/フォルダパス | Azure BLOB Storage接続設定を使って抽出したいデータのAzure BLOB Storageコンテナー名配下のフォルダ及びファイルパスを指定。 |
| 入力パスイメージ | 指定した内容をフルパス文字列で表示します。 |
| 文字コード | 対象ファイルの文字コードを指定。 |
| 区切り文字 | 対象ファイルの区切り文字を指定。 |
| 圧縮ファイル種別 | 対象ファイルの圧縮ファイル種別を指定。 |
| ファイルヘッダー | 対象ファイルのファイルヘッダー有無を指定。 |
対応するAzure BLOB Storage接続における各種設定を行い、[読み込みテスト]でファイル連携が行える事を確認後、[保存]を押下。以下の様な形で入力データソースが作成>されました。
データベース
ODBC接続
入力データソース設定で「ODBC接続」を選択すると、予め作成・設定しておいたODBC接続設定を使って任意のDBからデータ抽出を行う処理をCSA Data Uploader上で作成出来るようになります。
入力種別に「ODBC接続」を選択した際の設定項目は以下の通りです。
| 項目 | 説明 |
|---|---|
| 説明 | 入力データソースに設定したODBC接続に関する説明文を設定出来ます。 |
| データソース名 | 予め作成・設定したODBC接続を指定。 |
| クエリ | ODBC接続設定を使って抽出したいデータの内容を取得するSQL(SELECT文)を記述。 |
Note
「クエリ」に設定するSQL文はサブクエリを使わず、極力単純なSELECT文を記述するようにしてください。
対応するODBC接続における各種設定を行い、[クエリテスト]でSQLが実行出来る事を確認後、[保存]を押下。以下の様な形で入力データソースが作成されま>した。
入力データソースの内容を確認(プレビュー表示)
入力データソースとして設定した要素は、サンプリングした内容を画面経由で参照・確認可能です。
入力データソース右横にある「データ表示」のアイコンをクリックすると、
以下の様にデータの内容を表示するウインドウが立ち上がり、確認する事が出来ます。
Note
テキストファイル・ODBC接続のプレビュー表示は、いずれの場合も先頭5件を表示する形となっています。
ファイルパスのフォルダ指定
入力データソース設定画面の「ファイルパス」では、以下入力種別を選択した場合に「入力パスのフォルダ指定」が可能となります。
- テキストファイル
- FTP
- SFTP
- S3
- Google Cloud Storage
- Azure Blob Storage(Beta)
画面UIや挙動に関する仕様は以下の通りです。
- 「GUIで選択」ダイアログで、フォルダも選択可能に
- ファイルパスにフォルダが指定されていた場合、配下の全ファイルを対象に取り込みを実施
- 指定フォルダ配下にフォルダが含まれていた場合、そのフォルダ配下のファイルは対象としません(入れ子部分は見ない)
ファイルパスのワイルドカード指定
入力データソース設定画面の「ファイルパス」では、以下入力種別を選択した場合に「入力パスのワイルドカード指定」が可能となります。
- テキストファイル
- FTP
- SFTP
- S3
- Google Cloud Storage
- Azure Blob Storage(Beta)
ワイルドカード指定については以下ドキュメントをご参照下さい。
Note
本来S3/FTP/SFTP本体では「パスのワイルドカード指定」はサポートされていませんが、
CSA Data Uploaderでは入力されたワイルドカード指定内容を変換し、参照・利用可能な
形としています。