HPCF2 工作排程系統（PBS Pro）

HPCF2 集群採用 PBS Pro 作為工作排程系統。所有運算工作均須透過批次作業方式提交，並指定所需資源，例如工作排程（Queue）、CPU 數量、記憶體容量及執行時間。系統會在資源可用時，自動安排工作於運算節點上執行，並受資源使用上限及工作排程規則所限制。

一般工作排程

特殊工作排程（需另行申請）

如您的工作需要的運算資源超出一般工作排程所提供的限制，請向 CPOS 提交工作執行計劃及所需資源詳情。 CPOS 將根據當前集群資源使用情況及整體需求進行評估。在可行的情況下，可為特定項目設立臨時專用工作排程（Custom Job Queue），以提供額外或專屬的運算資源，支援相關工作執行。

工作腳本（Job Scripting）

PBS 工作指令（PBS Job Directives）

以下列出部分常用的 PBS 工作指令（PBS Job Directives）。這些設定可寫入工作腳本（Job Script）中，亦可在使用 qsub 提交工作時於命令列指定。

以下列出部分常用的 PBS 工作指令，可用於設定工作執行環境及所需資源。

PBS 工作輸出／錯誤檔案

您可自行指定 PBS 工作的標準輸出（Standard Output）及標準錯誤輸出（Standard Error）檔案名稱及儲存位置。

您亦可只指定輸出檔案的存放目錄，由 PBS 自動產生檔案名稱。

如未在工作腳本中指定 -o 或 -e 選項，PBS 將使用工作提交時的目前工作目錄（Working Directory）作為輸出位置，並自動產生預設的輸出及錯誤檔案名稱。

PBS Pro 會以提交工作時所在的目錄作為工作目錄（Working Directory），而非工作腳本（Job Script）所在的位置。
請注意，PBS 排程系統預設會將相關輸出檔案儲存於您的主目錄（Home Directory）下。為避免混淆及方便管理， 建議在工作腳本中使用完整路徑（Full Path）指定輸出檔案位置及名稱。.

注意事項

在 Omics 集群所使用的新 PBS 排程系統中，PBS 工作變數（例如常用的 $PBS_JOBID 及 $PBS_JOBNAME）不會於 #PBS 指令內被自動展開（Resolve）。此行為與舊版 statgenpro 集群有所不同，編寫工作腳本時請特別留意。 NOT be resolved in the #PBS job directives at the Omics cluster with new PBS scheduling system (that is different from the statgenpro cluster).

互動式 PBS 工作（Interactive PBS Jobs）

PBS 不僅支援批次作業（Batch Jobs），亦支援互動式工作（Interactive Jobs）。透過互動式工作，用戶可直接於運算節點上執行指令及使用軟體，而無需先建立工作腳本。

例如，用戶可在運算節點上啟動 R、Python 或其他開發環境進行測試及除錯，並在獲分配的執行時間（Walltime）內進行互動操作。
提交互動式工作時，無需準備 PBS 工作腳本，只需於 qsub 指令中直接指定所需資源。
例如，以下 PBS 工作腳本：

 #PBS -l nodes=1:ppn=4 
 #PBS -l mem=2gb 
 #PBS -l walltime=15:00:00 
 #PBS -q small 

可改為直接使用以下 qsub 指令提交：

 qsub -I -q small -l nodes=1:ppn=4,walltime=15:00:00,mem=2gb  

當符合指定資源需求的運算節點可供使用時，PBS 排程系統會自動為用戶分配所需資源（例如 4 個 CPU 核心），並將用戶登入至其中一個運算節點，以互動模式執行工作。
請注意，為避免資源閒置而未被有效使用，所有互動式 PBS 工作（即使用 qsub -I 提交的工作）如連續 30 分鐘沒有任何操作或活動，系統將自動終止工作並登出用戶，以釋放已分配的運算資源供其他用戶使用。

工作管理（Job Management）

提交批次工作（Batch Jobs）

批次工作（Batch Jobs）讓用戶將工作提交至工作排程系統，並由系統在所需資源可用時自動安排於集群的運算節點上執行。
用戶需透過工作腳本（Job Script）提交工作。工作腳本包含執行程式所需的指令及資源需求設定。工作完成後，執行結果及訊息會輸出至檔案，供日後查閱及分析。
一般而言，任何可於 Linux 命令列執行的指令或程式，都可寫入 PBS 工作腳本並透過批次方式執行。

以下為一個簡單的 PBS 工作腳本範例（檔案名稱：simple.sh）：

 #!/bin/bash
 #PBS -l nodes=1:ppn=1
 #PBS -l mem=2g
 #PBS -l walltime=00:01:00
 #PBS -m ae
 #PBS -N omics-simple
 #PBS -q small

 module load bamtools/2.5.1
 bamtools -v

完成工作腳本後，可使用以下指令提交工作：

 $ qsub simple.sh

工作提交後，PBS 會根據所指定的資源需求及佇列狀況，於資源可用時自動安排工作在運算節點上執行。
如需設定工作名稱、所需資源、執行時間或輸出檔案等參數，請參閱前述 「PBS 工作指令（PBS Job Directives）」 章節。

檢查工作狀態（Check Job Status）

提交工作後，可使用 qstat 指令查看工作狀態及各工作佇列的使用情況。
當運算節點有足夠資源可供使用時，工作會進入 R（Running） 狀態，表示正在執行；如所需資源暫時不足，工作則會顯示為 Q（Queued） 狀態，表示正在佇列中等待執行。當工作完成後，狀態會顯示為 C（Completed）。

顯示執行中的工作

$ qstat -rn1

例子：

 [itsupport@omics ~]$qstat -rn1
 
 omics: 
                                                              Req'd  Req'd   Elap
 Job ID          Username  Queue    Jobname    SessID NDS TSK Memory Time  S Time
 --------------- --------  -------- ---------- ------ --- --- ------ ----- - -----
 1649.omics      itsupport large    BWA_19NT   121502  1  12   90gb  48:00 R hpch01/0*12

顯示排隊中／暫停中的工作

$ qstat -i

例子：

 [itsupport@omics ~]$qstat -i
 
 omics: 
                                                              Req'd  Req'd   Elap
 Job ID          Username  Queue    Jobname    SessID NDS TSK Memory Time  S Time
 --------------- --------  -------- ---------- ------ --- --- ------ ----- - -----
 1651.omics      itsupport large    BWA_19T    ---     1  12   90gb  48:00 Q

顯示所有工作（包括已完成的工作)

$ qstat -xan1

例子：

 [itsupport@omics Exome]$qstat -xan1
 
 omics: 
                                                            Req'd  Req'd   Elap
 Job ID          Username  Queue    Jobname    SessID NDS TSK Memory Time  S Time
 --------------- --------  -------- ---------- ------ --- --- ------ ----- - -----
 1648.omics      itsupport  large  BWA_23T     127476   1  12   45gb 48:00 F 00:03 hpch08/0*12
 1649.omics      itsupport  large  BWA_23NT    121502   1  12   90gb 48:00 R 01:12 hpch08/0*12
 1650.omics      itsupport  large  BWA_43T     5940     1  12   45gb 48:00 F 00:01 hpch08/0*12
 1651.omics      itsupport  large  BWA_43NT     --      1  12   90gb 48:00 Q   --   --

Show details of a job

$ qstat -xf JobID

例子：

 [itsupport@omics]$qstat -f 1649
 Job Id: 1649.omics
   Job_Name = BWA_34NT
   Job_Owner = itsupportn@omics
   resources_used.cpupercent = 916
   resources_used.cput = 05:56:56
   resources_used.mem = 59554972kb
   resources_used.ncpus = 12
   resources_used.vmem = 92494740kb
   resources_used.walltime = 01:28:38
   job_state = R
   ...

檢查已完成工作的資源使用情況

功能： 顯示指定工作的詳細資訊及資源使用統計資料。

用法： myjob

例子：

   $ myjob 440356
   
   Job information and usage summary of your HPCF job 440356 :
   +-------------------+----------+-------+-------------+------+---------------------+-----------+------+-------+
   | jobid             | username | queue | jobname     | E S  | End Time            | walltime% | mem% | cpu%  |
   +-------------------+----------+-------+-------------+------+---------------------+-----------+------+-------+
   | 440356.statgenpro | kelvin   | large | Large       |    0 | 2016-08-30 04:31:30 |     25.36 | 8.28 | 14.51 |
   +-------------------+----------+-------+-------------+------+---------------------+-----------+------+-------+
   +---------------------+---------------------+----------+----------+------+------+-------+----------+--------+
   | Submit Time         | Start Time          | wtime@   | wtime#   | mem@ | mem# | vmem@ | CPUTime@ | nproc# |
   +---------------------+---------------------+----------+----------+------+------+-------+----------+--------+
   | 2016-08-29 22:26:16 | 2016-08-29 22:26:18 | 06:05:13 | 24:00:00 | 3.31 | 40gb |  4.75 | 10:35:53 |     12 |
   +---------------------+---------------------+----------+----------+------+------+-------+----------+--------+
   E S = Exit Status ; % = usage percentage; # = requested ; @ = used ; mem@/vmem@ in GB ; nproc = number of processors

只有工作擁有者（Job Owner）才可執行此查詢及查閱相關資源使用資訊。

   $ myjob 123456
   ERROR: You (kelvin) not the owner of the job 123456.

檢查已完成工作的資源使用摘要

功能： 顯示近期已完成工作的摘要資訊及資源使用統計。

用法： myjobs [-v] [-j] []

說明： 顯示近期已完成工作的摘要資訊及資源使用統計。

可選參數

-v verbose mode with resource usage data of walltime/memory/cpu requested and used

-j Last jobs by JobID numbers (instead of the default by End Time). Note that the jobs in the list by JobID may be different from that by End Time.

specifying the number of jobs (default:20) to display

例子：

$ myjobs 5
 
Your last 5 HPCF completed jobs (by End Time):
+-------------------+----------+-------+------------------------+------+---------------------+--------+-------+--------+
| jobid             | username | queue | jobname                | E S  | End Time            | cpu%   | mem%  | wtime% |
+-------------------+----------+-------+------------------------+------+---------------------+--------+-------+--------+
| 458952.statgenpro | kelvin   | large | GATK_CK02              |    0 | 2016-10-28 16:45:05 |  69.82 | 10.80 |   0.42 |
| 458860.statgenpro | kelvin   | large | GATK_NG07              |    0 | 2016-10-28 11:19:56 |  53.44 | 10.70 |   0.40 |
| 458853.statgenpro | kelvin   | large | GATK_CK03              |    0 | 2016-10-28 11:13:53 |  69.20 | 10.80 |   0.42 |
| 458862.statgenpro | kelvin   | large | GATK_YJ01              |    0 | 2016-10-28 11:09:05 |  49.90 | 10.30 |   0.24 |
| 458858.statgenpro | kelvin   | large | GATK_KC04              |    0 | 2016-10-28 10:57:39 |  55.96 | 10.30 |   0.11 |
+-------------------+----------+-------+------------------------+------+---------------------+--------+-------+--------+
E S = Exit Status ; % = usage percentage; wtime = walltime

詳細模式

$ myjobs -v 5

Your last 5 HPCF completed jobs (by End Time): 
+-------------------+----------+-------+------------------------+------+---------------------+--------+-------+--------+----------+--------+-------+-------+----------+-----------+
| jobid             | username | queue | jobname                | E S  | End Time            | cpu%   | mem%  | wtime% | CPUTime@ | CPUno# | mem@  | mem#  | wtime@   | wtime#    |
 +-------------------+----------+-------+------------------------+------+---------------------+--------+-------+--------+----------+--------+-------+-------+----------+-----------+
| 458952.statgenpro | kelvin   | large | GATK_CK02              |    0 | 2016-10-28 16:45:05 |  69.82 | 10.80 |   0.42 | 00:41:55 |      2 |  1.08 | 10.00 | 00:30:01 | 120:00:00 |
| 458860.statgenpro | kelvin   | large | GATK_NG07              |    0 | 2016-10-28 11:19:56 |  53.44 | 10.70 |   0.40 | 00:31:03 |      2 |  1.07 | 10.00 | 00:29:03 | 120:00:00 |
| 458853.statgenpro | kelvin   | large | GATK_KC03              |    0 | 2016-10-28 11:13:53 |  69.20 | 10.80 |   0.42 | 00:42:17 |      2 |  1.08 | 10.00 | 00:30:33 | 120:00:00 |
| 458862.statgenpro | kelvin   | large | GATK_YJ01              |    0 | 2016-10-28 11:09:05 |  49.90 | 10.30 |   0.24 | 00:16:57 |      2 |  1.03 | 10.00 | 00:16:59 | 120:00:00 |
| 458858.statgenpro | kelvin   | large | GATK_KC04              |    0 | 2016-10-28 10:57:39 |  55.96 | 10.30 |   0.11 | 00:08:55 |      2 |  1.03 | 10.00 | 00:07:58 | 120:00:00 |
+-------------------+----------+-------+------------------------+------+---------------------+--------+-------+--------+----------+--------+-------+-------+----------+-----------+
E S = Exit Status ; % = usage percentage ; wtime = walltime ; @ = used ; # = requested ; CPUno = number of processors ; mem@/vmem@/mem# in GB

依 Job ID 排序顯示最近的工作

$ myjobs -j 5

Your last 5 HPCF completed jobs (by JobID):
+-------------------+----------+-------+------------------------+------+---------------------+--------+-------+--------+
| jobid             | username | queue | jobname                | E S  | End Time            | cpu%   | mem%  | wtime% |
+-------------------+----------+-------+------------------------+------+---------------------+--------+-------+--------+
| 458952.statgenpro | kelvin   | large | GATK_CK02              |    0 | 2016-10-28 16:45:05 |  69.82 | 10.80 |   0.42 |
| 458862.statgenpro | kelvin   | large | GATK_YJ01              |    0 | 2016-10-28 11:09:05 |  49.90 | 10.30 |   0.24 |
| 458860.statgenpro | kelvin   | large | GATK_NG07              |    0 | 2016-10-28 11:19:56 |  53.44 | 10.70 |   0.40 |
| 458858.statgenpro | kelvin   | large | GATK_KC04              |    0 | 2016-10-28 10:57:39 |  55.96 | 10.30 |   0.11 |
| 458857.statgenpro | kelvin   | large | GATK_LR06              |    0 | 2016-10-28 10:54:35 |  55.46 | 10.30 |   0.11 |
+-------------------+----------+-------+------------------------+------+---------------------+--------+-------+--------+
E S = Exit Status ; % = usage percentage; wtime = walltime

刪除工作（Delete a Job）

$ qdel JobID

例子：

 [itsupport@omics]$qdel 1651