指令
bq export
從 BigQuery 匯出資料表。
概要
bq export [options]
旗標和引數
如要執行這項指令,您必須提供 SQL 查詢 (請參閱旗標 --sql
和 query_dsn
) 和副本簿 (請參閱旗標 cobDsn
)。您可以在本機、遠端和獨立模式下執行這項指令。如需瞭解遠端模式,請參閱 --bucket
、--remoteHost
、--remotePort
和 --remoteUrl
標記。bq export
指令可使用下列標記和引數:
--project_id
=ID- 指定要用來執行此指令的專案。
--allow_large_results
- (選用) 針對舊版 SQL 查詢使用大型目的地資料表。
--batch
- (選用) 以批次模式執行查詢。
--bucket
=BUCKET- (選用) 將指令的輸出內容寫入 Cloud Storage 值區中的某個位置。輸出檔案會寫入目的地路徑
gs://BUCKET/EXPORT/
。這個引數是遠端模式的必要條件。 --cobDsn
=DSN- (選用) 指定要使用的匯入簿 DSN。如果您未提供值,主機連接器會從 DD COPYBOOK 讀取。
--dataset_id
=ID- (選用) 指定要搭配指令使用的預設資料集。您可以將值設為 [PROJECT_ID]:[DATASET] 或 [DATASET]。如果缺少 [PROJECT_ID],系統會使用預設專案。
--destination_table
=TABLE- (選用) 指定要將查詢結果寫入的目標資料表。
--dry_run
- (選用) 驗證查詢,但不執行查詢。
--encoding
=ENCODING- (選用) 指定用於編碼及解碼字元欄位的字元集。提供這個值時,系統會覆寫
ENCODING
環境變數的預設設定。 --exporter_thread_count
=COUNT- (選用) 設定匯出程序的執行緒數量。預設值為 4。
--help
或-h
- 顯示這段說明文字。
--keepAliveTimeInSeconds
=SECONDS- (選用) 指定 HTTP 管道的保持連線逾時時間 (以秒為單位)。預設值為 480 秒。
--location
=LOCATION- (選用) 指定要執行指令的地區或多地區位置。預設值為 US。
--max_read_queue
=NUMBER- (選用) 設定 Avro 記錄佇列的最大大小。預設值是執行緒數的兩倍。
--max_read_streams
=NUMBER- (選用) 設定讀取串流執行緒的數量上限。預設值為 4。
--maximum_bytes_billed
=BYTES- (選用) 限制查詢會產生費用的位元組數。
--order_response
- (選用) 保留 BigQuery 傳回的回應順序。
--outDD
=OUTPUT- (選用) 將輸出記錄寫入 z/OS 中的指定資料集。預設值為 DD OUTFILE。
--parser_type
=TYPE- (選用) 將設定剖析器設為
legacy
、copybook
或auto
。預設值為auto
。 --query_dsn
=DSN- (選用) 從 z/OS 的指定資料集中讀取查詢。請使用 HLQ.MEMBER 或 HLQ.PDS(MEMBER) 格式。如果您未提供值,主機連接器會從 DD 查詢讀取。
--remoteHost
=HOST- (選用) 指定遠端主機的 IP 位址。如要在遠端模式下執行 Mainframe Connector,請設定
--bucket
標記。 --remotePort
=PORT- (選用) 指定遠端通訊埠。預設值為 51770。如要在遠端模式下執行 Mainframe Connector,請設定
--bucket
標記。 --remoteUrl
=URL- (選用) 指定遠端網址。如要在遠端模式下執行 Mainframe Connector,請設定
--bucket
標記。 --run_mode
=MODE- (選用) 選取匯出實作方式。您可以使用下列任一選項:
directstorage
:二進位檔案會儲存在本機 (預設)gcsoutput
:二進位檔案會儲存在 Cloud Storage 中
--sql
=SQL- (選用) 指定要執行的 BigQuery SQL 查詢。
--stats_table
=TABLE- (選用) 指定要插入統計資料的資料表。
--timeOutMinutes
=MINUTES- (選用) 設定遠端 grpc 呼叫的逾時時間 (以分鐘為單位)。預設值為 90 分鐘。
--transcoding_buffer
=BUFFER- (選用) 設定每個執行緒的轉碼緩衝區大小 (以 MB 為單位)。預設值為 20。
--use_cache
={true|false}- (選用) 如要快取查詢結果,請將此值設為 true。
--use_legacy_sql
- (選用) 使用舊版 SQL 而非標準 SQL。
bq load
將資料載入 BigQuery 資料表。
概要
bq load [options] tablespec path
旗標和引數
bq load
指令可使用下列標記和引數:
- path
- 指定以半形逗號分隔的來源檔案 URI 清單。支援的格式為
gs://bucket/path
。範例:gs://my-bucket/data.orc,gs://my-bucket/more-data.orc
。 - tablespec
- 指定資料的目的地資料表。支援的格式為 [PROJECT]:[DATASET].[TABLE]
--project_id
=ID- 指定要用來執行此指令的專案。
--allow_jagged_rows
- (選用) 允許 CSV 資料缺少結尾自選欄。
--allow_quoted_newlines
- (選用) 允許在 CSV 資料中使用加上引號的換行符號。
--append_table
- (選用) 將載入的資料附加至目的地資料表中的現有資料。
--autodetect
- (選用) 為 CSV 和 JSON 資料啟用自動結構定義偵測功能。
--clustering_fields
=FIELDS- (選用) 如果有指定此旗標,系統會在查詢中使用逗號分隔的資料欄清單對目的地資料表進行分群。這個標記必須與時間分區���記搭配使用,���能建立擷取時間分區資料表,或是以
DATE
或TIMESTAMP
資料欄進行分區的資料表。如果有指定此旗標,系統會先對資料表進行分區,然後使用提供的資料欄進行分群。 --dataset_id
=ID- (選用) 指定要搭配指令使用的預設資料集。您可以將值設為 [PROJECT_ID]:[DATASET] 或 [DATASET]。如果缺少 [PROJECT_ID],系統會使用預設專案。
--debug_mode
={true|false}- (選用) 將記錄層級設為偵錯。
--destination_kms_key
=KEY- (選用) 用來加密目標資料表資料的 Cloud KMS 金鑰。
--encoding
或-E
=ENCODING- (選用) 指定用於編碼及解碼字元欄位的字元集。指定這個值後,系統會覆寫
ENCODING
環境變數設定的預設值。 --field_delimiter
或-F
=FIELD- (選用) 指定 CSV 資料中的欄分隔符。使用
\t
或tab
做為 Tab 分隔符。 --help
或-h
- 顯示這段說明文字。
--ignore_unknown_values
=VALUES- (選用) 忽略 CSV 或 JSON 資料中的其他無法辨識的值。
--location
=LOCATION- (選用) 指定要執行指令的地區或多地區位置。預設值為 US。
--max_bad_records
=RECORDS- (選用) 設定工作失敗前可允許的無效記錄數量上限。無論
--max_bad_records
值為何,系統最多只會傳回五個任何類型的錯誤。這個標記僅適用於載入 CSV、JSON 和 Google 試算表資料。預設值為 0。 --max_polling_interval_ms
=MILLISECONDS- (選用) BigQuery 作業的最大等候時間。
--null_marker
=MARKER- (選用) 指定代表 CSV 資料中
NULL
值的自訂字串。 --projection_fields
=FIELDS- (選用) 如果您將
--source_format
設為DATASTORE_BACKUP
,則此標記會指出要從資料儲存庫匯出內容中載入的實體屬性。使用逗號分隔的清單指定資源名稱。屬性名稱有大小寫之分,且必須參照頂層屬性。您也可以將此標記與 Firestore 匯出內容搭配使用。 --quote
=QUOTE- (選用) 指定用於在 CSV 資料中圍繞欄位的引號字元。您可以將任何半形字元做為引數。預設值為雙引號 (")。如要指定沒有引號字元,請使用空白字串。
--replace
- (選用) 將載入的資料取代目的地資料表中的現有資料。
--require_partition_filter
={true|false}- (選用) 如要針對查詢提供的資料表使用分區篩選器,請將此屬性設為 true。這個引數僅適用於分區資料表,且
--time_partitioning_field
標記必須設為 true。預設值為 false。 --schema
=SCHEMA- (選用) 定義目的地資料表的結構定義。請使用 [FIELD]:[DATA_TYPE] 格式,以逗號分隔的資料欄定義清單指定值。示例:
name:STRING,age:INTEGER,city:STRING
--schema_update_option
=OPTION- (選用) 附加資料至資料表 (在載入工作或查詢工作中) 或覆寫資料表分區時,指定目標資料表結構定義的更新方式。請使用下列其中一個值:
ALLOW_FIELD_ADDITION
:允許新增欄位ALLOW_FIELD_RELAXATION
:允許將REQUIRED
欄位放寬為NULLABLE
--skip_leading_rows
=NUMBER- (選用) 指定要在來源檔案開頭略過的資料列數量。預設值為 0。
--source_format
=FORMAT- (選用) 指定來源資料的格式。您可以使用下列任一值:
CSV
、NEWLINE_DELIMITED_JSON
、AVRO
、DATASTORE_BACKUP
(用於 Filestore)、PARQUET
和ORC
。預設值為ORC
。 --stats_table
=TABLE- (選用) 指定要插入統計資料的資料表。
--time_partitioning_expiration
=SECONDS- (選用) 指定系統應在經過多少時間後刪除時間分區 (以秒為單位)。到期時間為分區的世界標準時間日期加上指定的值。如果您提供負數,則時間分區永遠不會過期。
--time_partitioning_field
=FIELD- (選用) 指定用來決定時間分區建立方式的欄位。如果啟用時間分區時沒有這個值,系統就會根據載入時間對資料表進行分區。
--time_partitioning_type
=TYPE- (選用) 針對資料表啟用時間分區功能,並使用下列值設定分區類型:
DAY
。 --use_avro_logical_types
={true|false}- (選用) 如果
--source_format
設為AVRO
,請將這個標記設為 true,將邏輯類型轉換為對應類型 (例如TIMESTAMP
),而非只使用原始類型 (例如INTEGER
)。預設值為 false。
bq mk
建立 BigQuery 資源,例如需要設定分割和叢集的內建資料表或外部資料表。您也可以使用 bq mk
指令,透過 --schema_from_copybook
標記直接從剖析的 COBOL 副本書中產生 BigQuery 資料表。
概要
bq mk [options]
旗標和引數
bq mk
指令可使用下列標記和引數:
--project_id
=ID- 指定要用來執行此指令的專案。
--tablespec
=TABLE- 指定資料的目的地資料表。支援的格式為 [PROJECT]:[DATASET].[TABLE]。
--clustering_fields
=FIELDS- (選用) 指定以半形逗號分隔的清單,最多包含四個資料欄名稱,用於指定用於資料表分群的欄位。
--dataset_id
=ID- (選用) 指定要與指令搭配使用的預設資料集。您可以將值設為 [PROJECT_ID]:[DATASET] 或 [DATASET]。如果缺少 [PROJECT_ID],系統會使用預設專案。
--description
=DESCRIPTION- (選用) 提供資料集或資料表的說明。
--dry_run
- (選用) 列印資料表的資料定義語言 (DDL) 陳述式。
--encoding
=ENCODING- (選用) 指定用於編碼及解碼字元欄位的字元集。指定這個值後,系統會覆寫
ENCODING
環境變數設定的預設值。 --expiration
=EXPIRATION- (選用) 指定資料表的生命週期。如果您未指定值,BigQuery 會使用資料集的預設資料表生命週期建立資料表,或者資料表不會到期。
--external_table_definition
或-e
=TABLE- (選用) 指定名稱和結構定義,以建立外部資料表。示例:
ORC=gs://bucket/table_part1.orc/,gs://bucket/table_part2.orc/.
--help
或-h
- 顯示這段說明文字。
--location
=LOCATION- (選用) 指定要執行指令的地區或多地區位置。預設值為 US。
--parser_type
=TYPE- (選用) 將設定剖析器設為
legacy
、copybook
或auto
。預設值為auto
。 --require_partition_filter
={true|false}- (選用) 如要針對查詢提供的資料表使用分區篩選器,請將此屬性設為 true。這個引數僅適用於分區資料表,且
--time_partitioning_field
標記必須設為 true。預設值為 true。 --schema
=SCHEMA- (選用) 指定本機 JSON 結構定義檔路徑,或以逗號分隔的資料欄定義清單,格式為 FIELD:DATA_TYPE、FIELD:DATA_TYPE 等。
--schema_from_copybook
=SCHEMA- (選用) 從副本簿產生結構定義。
--table
或-t
=TABLE- (選用) 建立表格。
--time_partitioning_expiration
=SECONDS- (選用) 指定系統應在經過多少時間後刪除時間分區 (以秒為單位)。到期時間為分區的世界標準時間日期加上指定的值。如果您提供負數,則時間分區永遠不會過期。
--time_partitioning_field
=FIELD- (選用) 指定用來決定時間分區建立方式的欄位。如果啟用時間分區時沒有這個值,系統就會根據載入時間對資料表進行分區。
--view
- (選用) 建立檢視畫面。
bq query
執行 BigQuery 查詢。
概要
bq query [options]
旗標和引數
您可以在本機和遠端模式下執行這項指令。如需遠端模式的相關資訊,請參閱標記 --remoteHost
、--remotePort
和 --remoteUrl
,以及環境變數 BQ_QUERY_REMOTE_EXECUTION
。bq query
指令可使用下列標記和引數:
--project_id
=ID- 指定要用來執行此指令的專案。
--allow_large_results
- (選用) 針對舊版 SQL 查詢使用大型目的地資料表。
--append_table
- (選用) 將載入的資料附加至目的地資料表中的現有資料。
--batch
- (選用) 以批次模式執行查詢。
--clustering_fields
=FIELDS- (選用) 指定以半形逗號分隔的清單,最多包含四個資料欄名稱,用於指定用於資料表分群的欄位。如果您在指定分區時指定此值,系統會先對資料表進行分區,然後���用提供的資料欄為每個分區進行分群。
--create_if_needed
- (選用) 建立目的地資料表 (如果不存在的話)。
--dataset_id
=ID- (選用) 指定要搭配指令使用的預設資料集。您可以將值設為 [PROJECT_ID]:[DATASET] 或 [DATASET]。如果缺少 [PROJECT_ID],系統會使用預設專案。
--destination_table
=TABLE- (選用) 指定要將查詢結果寫入的目標資料表。
--dry_run
- (選用) 驗證查詢,但不執行查詢。
--follow
={true|false}- (選用) 如要追蹤個別查詢步驟或整個指令碼,請將此值設為 true。預設值為 false。
--help
或-h
- 顯示這段說明文字。
--location
=LOCATION- (選用) 指定要執行指令的地區或多地區位置。預設值為 US。
--maximum_bytes_billed
=BYTES- (選用) 指定會產生費用的查詢位元組上限。
--parameters
=PARAMETERS- (選用) 使用 [NAME]:[TYPE]:[VALUE] 格式指定以半形逗號分隔的查詢參數。如果將名稱留空,系統會建立位置參數。您可以省略 [TYPE],以 name::value 或 ::value 格式假設
STRING
值。NULL
會產生空值。 --query_dsn
=DSN- (選用) 指定要讀取查詢的 DSN,格式為 HLQ.MEMBER 或 HLQ.PDS(MEMBER)。如果未提供
query_dsn
,系統會使用 QUERY DD。 --remoteHost
=HOST- (選用) 指定遠端主機的 IP 位址。如要在遠端模式下執行查詢,請設定
BQ_QUERY_REMOTE_EXECUTION
環境變數。 --remotePort
=PORT- (選用) 指定遠端通訊埠。預設值為 51770。如要在遠端模式下執行查詢,請設定
BQ_QUERY_REMOTE_EXECUTION
環境變數。 --remoteUrl
=URL- (選用) 指定遠端網址。如要在遠端模式下執行查詢,請設定
BQ_QUERY_REMOTE_EXECUTION
環境變數。 --replace
- (選用) 使用查詢結果覆寫目的地資料表。
--report_row_limit
=LIMIT- (選用) 指定要列印的最大資料列數。預設值為 30。
--require_partition_filter
={true|false}- (選用) 如要針對查詢提供的資料表使用分區篩選器,請將此屬性設為 true。預設值為 true。
--schema_update_option
=OPTION- (選用) 在附加資料時更新目的地資料表的結構定義。請使用下列值:
ALLOW_FIELD_ADDITION
:允許新增欄位。ALLOW_FIELD_RELAXATION
:允許將REQUIRED
欄位放寬為NULLABLE
。
--split_sql
={true|false}- (選用) 如要將輸入的 SQL 指令碼拆分為個別查詢,請將此值設為 true。預設值為 true。
--stats_table
=TABLE- (選用) 指定要插入統計資料的資料表。
--sync
={true|false}- (選用) 以同步模式執行指令。
--synchronous_mode
={true|false}- (選用)
--sync
的替代值。 --timeOutMinutes
=MINUTES- (選用) 指定 BigQuery 工作回應的逾時時間 (以分鐘為單位)。預設值為 240 分鐘。
--time_partitioning_expiration
=SECONDS- (選用) 指定系統應在經過多少時間後刪除時間分區 (以秒為單位)。到期時間為分區的世界標準時間日期加上指定的值。如果您提供負數,則時間分區永遠不會過期。
--time_partitioning_field
=FIELD- (選用) 指定用來決定時間分區建立方式的欄位。如果啟用時間分區時沒有這個值,系統就會根據載入時間對資料表進行分區。
--time_partitioning_type
=TYPE- (選用):針對資料表啟用時間分區,並使用下列其中一個值設定分區類型:
DAY
、HOUR
、MONTH
、YEAR
。 --use_cache
={true|false}- (選用) 如要快取查詢結果,請將其設為 true。預設值為 true。
--use_legacy_sql
- (選用) 使用舊版 SQL 而非標準 SQL。
cloud run job cancel
取消特定工作執行作業。
概要
cloud run job cancel [-h] --project=PROJECT --region=REGION EXECUTION
旗標和引數
cloud run job cancel
指令可使用下列標記和引數:
- EXECUTION
- 指定 Cloud Run 工作執行 ID 的名稱。
--help
或-h
- (選用) 顯示這則說明訊息。
--project
=PROJECT- 指定專案 ID。
--region
=REGION- 指定可找到資源的區域。
cloud run job execute
執行特定工作。
概要
cloud run job execute [-h] [--async] [--tail-logs] [--wait] [--dump-execution-id=EXECUTION-ID] [--polling-interval=POLLINGINTERVAL] --project=PROJECT --region=REGION [--task-timeout=TIMEOUT] [--args=ARGS]... [--update-env-vars=ENVVARS]... JOB
旗標和引數
cloud run job execute
指令可使用下列標記和引數:
- JOB
- 指定要執行的 Cloud Run 工作名稱。
--args
=ARGS- (選用) 以半形逗號分隔的引數,會傳遞至容器映像檔執行的指令。如果提供,系統會使用輸入值建立執行作業。
--async
- (選用) 如果您想立即傳回,而不必等待進行中的作業完成,請指定這個標記。
--dump-execution-id
=EXECUTION-ID : DataPath- (選用) 指定要寫入執行 ID 的檔案。
--help
或-h
- (選用) 顯示這則說明訊息。
--polling-interval
=POLLINGINTERVAL- (選用) 設定輪詢間隔,用於在啟用
--tail_logs
時顯示記錄檔。預設值為 60 秒。 --project
=PROJECT- 指定專案 ID。
--region
=REGION- 指定可找到資源的區域。
--tail-logs
- (選用) 如果您指定
--tail_logs
旗標,以同步模式執行指令,主機介面連接器會在畫面上顯示進度記錄。如果您同時指定--tail_logs
和--async
標記,系統會顯示錯誤訊息。由於 Cloud Logging 不支援即時記錄,因此這項指令只會顯示記錄檔中已記錄的記錄。因此,使用--tail_logs
旗標時,系統可能會遺漏部分記錄。如要查看完整的工作記錄,請在工作完成後使用cloud run job log
指令。 --task-timeout
=TIMEOUT- (選用) 顯示工作任務嘗試執行的現有時間上限 (期限)。如未指定,系統會使用工作預設值。
--update-env-vars
=ENVVARS- (選用) 要設為執行工作時的環境變數覆寫值的鍵/值組合清單。
--wait
- (選用) 如果您希望指令在執行完畢後才離開,請指定此旗標。
cloud run job log
顯示 Cloud Run 記錄
概要
cloud run job log [-h] [--tail] [--log-filter=FILTER] [--polling-interval=POLLINGINTERVAL] --project=PROJECT --region=REGION [--timeout=TIMEOUT] EXECUTION_ID
旗標和引數
cloud run job log
指令可使用下列標記和引數:
- EXECUTION_ID
- Cloud Run 工作執行 ID 的名稱。
--help
或-h
- (選用) 顯示這則說明訊息。
--log-filter
=FILTER- (選用) 篩選運算式,可指定要傳回的記錄項目。
--polling-interval
=POLLINGINTERVAL- (選用) 設定輪詢間隔,用於在啟用
--tail_logs
時顯示記錄檔。預設值為 60 秒。 --project
=PROJECT- 指定專案 ID。
--region
=REGION- 指定可找到資源的區域。
--tail
- (選用) 設定後,系統只會顯示從現在開始的新記錄。如果未設定,系統會顯示所有工作記錄。
--timeout
=TIMEOUT- (選用) 指令結束後的逾時時間。如果未設定,指令會在執行作業結束時逾時。
gsutil cp
將資料從 Mainframe 轉碼至 Cloud Storage 值區。
概要
gsutil cp [options] gcsUri [dest]
旗標和引數
您可以使用這個指令執行下列不同用途:
- 將�����從主機或 Linux 環境複製及轉碼至 Cloud Storage。
- 來源:
--inDSN
。如未提供,則由 DD INFILE 指定。 - 目的地:
gcsUri
- 在 Cloud Storage 中複製及轉碼檔案
- 來源:
gcsUri
- 目的地:
--destPath
- 將檔案從 Cloud Storage 複製到主機。
- 來源:
gcsUri
- 目的地:
--destDSN
- 相關標記:
--lrecl
、--blksize
、--recfm
、--noseek
。 - 將檔案從 Cloud Storage 複製到 Linux 環境。
- 來源:
gcsUri
- 目的地:
--destPath
--remote
、--remoteHost
、--remotePort
和 --remoteUrl
標記。gsutil cp
指令可使用下列標記和引數:
- dest
- (選用) 本機路徑或資料來源名稱 (DSN)。格式範例:
/path/to/file
、DATASET.MEMBER - gcsUri
- Cloud Storage URI 格式為
gs://bucket/path
。視用途而定,可同時代表來源和目的地位置。 --batchSize
=SIZE- (選用) 指定每個批次要使用的區塊。預設值為 1000。
--blksize
=SIZE- (選用) 指定要複製至 Mainframe 的檔案區塊大小。如果
blksize=0
和recfm
不是 U,主機系統會判斷檔案的最佳區塊大小。 --cobDsn
=DSN- (選用) 指定要使用的匯入簿 DSN。如果您未提供值,主機連接器會從 DD COPYBOOK 讀取。
--connections
=NUMBER- (選用) 指定可連線至遠端接收器的連線數量。預設值為 10。
--dataset_id
=ID- (選用) 指定要與指令搭配使用的預設資料集。您可以將值設為 [PROJECT_ID]:[DATASET] 或 [DATASET]。如果缺少 [PROJECT_ID],系統會使用預設專案。
--destDSN
=OUTPUT- (選用) 指定目的地 DSN。
--destPath
=OUTPUT- (選用) 指定目的地路徑。
--dry_run
- (選用) 測試 QSAM 檔案的副本簿剖析和解碼功能。
--encoding
=ENCODING- (選用) 指定用於編碼及解碼字元欄位的字元集。指定這個值後,系統會覆寫
ENCODING
環境變數設定的預設值。 --help
或-h
- 顯示這段說明文字。
--inDsn
=DSN- (選用) 指定要使用的內嵌 DSN。如果未提供值,Mainframe Connector 會從 DD INFILE 讀取。
--keepAliveTimeInSeconds
=SECONDS- (選用) 指定 HTTP 管道的保持連線逾時時間 (以秒為單位)。預設值為 480 秒。
--location
=LOCATION- (選用) 指定要執行指令的地區或多地區位置。預設值為 US。
--lowerCaseColumnNames
- (選用) 為匯入表格欄位建立小寫的欄位名稱。
--lrecl
=LRECL- (選用) 指定要複製到主機的檔案邏輯記錄長度 (lrecl)。
--maxChunkSize
=SIZE- (選用) 指定每批的最大區塊大小。您應使用 K、KiB、KB、M、MiB、MB、G、GiB、GB、T、TiB 或 TB 來描述大小。預設值為 128 MiB。
--max_error_pct
=PCT- (選用) 指定列解碼錯誤的工作失敗門檻。有效值介於 [0.0, 1.0] 之間。預設值為 0。
--noseek
- (選用) ������從 Cloud Storage 下載至 Mainframe 的下載效能。
--parallel
或-m
- (選用) 將並行寫入者的數量設為 4。
--parallelism
或-p
=NUMBER- (選用) 指定並行寫入者的數量。預設值為 4。
--parser_type
=TYPE- (選用) 將設定剖析器設為
legacy
、copybook
或auto
。預設值為auto
。 --preload_chunk_count
=NUMBER- (選用) 指定在所有工作站都已占用時,從磁碟預先載入的區塊數量。預設值為 2。
--project_id
=ID- (選用) 指定要用來執行此指令的專案。
--recfm
=REFCM- (選用) 指定要複製到主控台的檔案 recfm。您可以使用下列其中一個值:F、FB、V、VB、U。預設值為 FB。
--remote
- (選用) 使用遠端解碼器。
--remoteHost
=HOST- (選用) 指定遠端主機的 IP 位址。如要在遠端模式下執行 Mainframe Connector,請設定
--remote
標記。 --remotePort
=PORT- (選用) 指定要使用的遠端通訊埠。預設值為 51770。如要在遠端模式下執行 Mainframe Connector,請設定
--remote
標記。 --remoteUrl
=URL- (選用) 指定遠端網址。如要在遠端模式下執行 Mainframe Connector,請設定
--remote
標記。 --replace
- (選用) 在上傳前遞迴刪除目的地。
--stats_table
=TABLE- (選用) 指定要插入統計資料的資料表。
--tfDSN
=DSN- (選用) 指定 DSN、DATASET.MEMBER 或 PDS(MBR) 的轉換。
--tfGCS
=GCS- (選用) 指定 Cloud Storage 中的轉換檔案。
--timeOutMinutes
=MINUTES- (選用) 指定遠端 grpc 呼叫的逾時時間 (以分鐘為單位)。預設值為 Cloud Storage 的 90 分鐘和 Mainframe 的 50 分鐘。
gsutil rm
移除 Cloud Storage 物件。
概要
gsutil rm [-hR] URL...
旗標和引數
gsutil rm
指令可使用下列標記和引數:
- URL
- 請使用
gs://bucket/prefix
格式指定 Cloud Storage 位置。 --help
或-h
- (選用) 顯示這則說明訊息。
-R
或-r
- (選用) 遞迴刪除符合路徑運算式的目錄或物件內容。如果目錄或物件不存在,則不會擲回錯誤。
qsam decode
解碼 QSAM 資料。
這個指令會將 QSAM 檔案中的記錄解碼為您使用 --output-format
引數指定的格式。系統會根據您使用 --max-chunk-size
引數指定的值,將原始 QSAM 檔案分割成多個區塊。經過轉碼的輸出內容會以字典順序排序的檔案儲存在目標路徑中。
概要
qsam decode [-h] [--replace] [--chunk-size=CHUNK-SIZE] --copybook=COPYBOOK [--max-error-percent=MAX_ERROR_PERCENT] [--output-format=FORMAT] [--parallelism=COUNT] [--preload-chunk-count=PRELOAD_CHUNK_COUNT] [--transcode-configuration=CONFIG] INPUT OUTPUT
旗標和引數
qsam decode
指令可使用下列標記和引數:
- INPUT :DataPath
- 指定要解碼的 QSAM 檔案資料路徑。
- OUTPUT :DataPath
- 指定輸出前置字串的資料路徑。所有輸出內容都會儲存在這個前置字串下。
--chunk-size
=CHUNK-SIZE : DataSize- (選用) 指定每個輸出檔案要納入的輸入資料量。輸出檔案的大小可能會更大或更小。區塊大小會無條件捨去至最接近的邏輯記錄長度倍數。預設值為 128 MiB。
--copybook
=COPYBOOK : DataPath- 指定含有副本簿的檔案資料路徑。
--help
或-h
- (選用) 顯示這則說明訊息。
--max-error-percent
=MAX_ERROR_PERCENT- (選用) 指定在轉碼程序失敗前,允許有錯誤的已處理記錄百分比。值的範圍介於 0.0 (即如果有任何轉碼錯誤,就會失敗) 和 1.0 (即如果有轉碼錯誤,就不會失敗)。預設值為 0。
--output-format
=FORMAT : TranscodeFormat- (選用) 指定輸出檔案的格式。預設值為 orc。
--parallelism
=COUNT- (選用) 指定處理執行緒的數量。這個值應等於或小於可用的核心數。預設值為 1。
--preload-chunk-count
=PRELOAD_CHUNK_COUNT- (選用) 指定在所有執行緒處理時要預先載入的資料區塊數量。預設值為 1。
--replace
- (選用) 如果指定此選項,系統會在寫入解碼結果前,以迴遞方式刪除輸出路徑。
--transcode-configuration
=CONFIG : DataPath- (選用) 指定包含轉碼設定的檔案。如要進一步瞭解轉碼器設定格式,請參閱「轉碼器設定」。
qsam encode
將 QSAM 資料編碼。
這個指令會從外部來源擷取資料,並將資料轉換為 QSAM 檔案。輸入內容是由您使用 --input-format
引數指定的值定義。
概要
qsam encode [-h] --copybook=COPYBOOK --input-format=FORMAT [--input-stream-count=COUNT] [--parallelism=COUNT] [--spillover=SPILLOVER] [--transcode-configuration=CONFIG] [--input-parameter=KEY=VALUE]... INPUT OUTPUT
旗標和引數
qsam encode
指令可使用下列標記和引數:
- INPUT :DataPath
- 指定要編碼為 QSAM 檔案的輸入檔案資料路徑。
- OUTPUT :DataPath
- 指定要編碼的 QSAM 檔案資料路徑。
--copybook
=COPYBOOK : DataPath- 指定含有副本簿的檔案資料路徑。
--help
或-h
- (選用) 顯示這則說明訊息。
--input-format
=FORMAT : TranscodeInputFormat- 指定輸入格式。
--input-parameter
=KEY=VALUE- (選用) 指定用於設定輸入內容的參數。這些是輸入格式專屬的功能。
--input-stream-count
=COUNT- (選用) 指定輸入串流的數量。這是上限值,實際上可能會使用較少的串流。預設值為 1。
--parallelism
=COUNT- (選用) 指定處理執行緒的數量。這個值應等於或小於可用的核心數量。預設值為 1。
--spillover
=SPILLOVER : DataPath- (選用) 指定溢出資料集的資料路徑。如果您未指定這項資訊,系統就會捨棄錯誤詳細資料。
--transcode-configuration
=CONFIG : DataPath- (選用) 指定包含轉碼設定的檔案。如要進一步瞭解轉碼器設定格式,請參閱「轉碼器設定」。
scp
將檔案複製到 Cloud Storage。
概要
scp [options] [input] [output]
旗標和引數
如要使用這項指令,您必須確保以下事項:
- 透過
input
、--inDD
或--inDsn
設定一個不重複的輸入���。 - 透過 output 或
--gcsOutUri
設定一個不重複的輸出值。
scp
指令可使用下列標記和引數:
- input
- (選用) 指定要複製的 DD 或 DSN。您可以改用
--inDD
或--inDsn
。 - output
- (選用) 使用 gs://[BUCKET]/[PREFIX] 格式指定輸出的 URI。您可以改用
--gcsOutUri
。 --compress
- (選用) 使用 gzip 壓縮輸出內容。
--count
或-n
=RECORDS- (選用) 指定要複製的記錄數量。預設為無限制。
--encoding
=ENCODING- (選用) 指定輸入字元編碼。預設值為 CP037。
--gcsOutUri
=URI- (選用) 指定檔案副本��� Cloud Storage URI 目的地。
--help
或-h
- 顯示這段說明文字。
--inDD
=INPUT- (選用) 指定要複製的 DD 檔案。預設值為 DD INFILE。
--inDsn
=INPUT- (選用) 指定要複製的 DSN。
--noConvert
- (選用) 停用字元輸入至 ASCII 的轉換功能。字元轉換功能預設為啟用。
systemreport
提供系統報告。
概要
systemreport [-h] [--available_security_providers] [--supported_ciphers]
旗標和引數
systemreport
指令可使用下列標記和引數:
--available_security_providers
- (選用) 列印支援的安全性提供者。
--help
或-h
- (選用) 顯示這則說明訊息。
--supported_ciphers
- (選用) 列印支援的密碼。
參數類型
這些常見類型用於主機連接器指令。
DataPath
DataPath 是代表輸入或輸出的字串。每個 DataPath
類型都有專屬前置字串,如下所列:
DD:
- 在 JCL 工作中執行時,含有此前置字串的資料路徑會指向 DD。範例:DD:DDNAME
。DSN:
- 在 IBM 主機上執行時,含有此前置字元的資料路徑會指向 DSN。範例:DSN:HQ.FOO.BAR
。file:
:含有這個前置字串的資料路徑會指向 Unix 檔案。您可以透過在:
前方加上#lrecl
,指定邏輯記錄長度 (LRECL)。例如:file:/path/to/file
、file#80:/path/to/file
。gs://
:含有此前置字串的資料路徑會指向 Cloud Storage 中的檔案。示例:gs://my_bucket/my/file.txt
DataSize
DataSize
會以數量和測量單位的形式表示大小,例如 5 MiB。您可以在金額和幅度之間使用空格。資料大小剖析功能不區分大小寫,因此您可以使用大寫或小寫指定測量單位。
您可以使用下列格式指定值:
- Java 格式:b/k/m/g/t,分別代表位元組、kibibyte、mebibyte、gibibyte 和 tebibyte。
- 國際格式:KiB/MiB/GiB/TiB,分別對應於 kibibyte、mebibyte、gibibyte 和 tebibyte。
- 指標格式:b/kb/mb/gb/tb,分別代表千位元組、兆位元組、千兆位元組和兆位元組。
TranscodeFormat
TranscodeFormat
代表轉碼程序中要使用的格式。
有效的值包括:
ORC
-ORC
是一��可自行描述的類型感知資料欄檔案格式。
TranscodeInputFormat
轉碼期間使用的格式。
有效的值包括:
BIGQUERY
- 直接從 BigQuery 提取資料。INPUT
必須是查詢檔案的路徑。
可用的輸入參數如下:
keep_order
:如果記錄的確切順序很重要,請使用此選項。請注意,這會限制輸入串流。project_id
:執行工作時要使用的專案 ID。location
:執行工作時要使用的地點。