2015.07.21版

配布するUSBメモリ中のhogeフォルダを
デスクトップにコピーしておいてください。
貸与PCは、デスクトップに下記内容のものがあることを確認しておいてください。

NGSハンズオン講習会
Linux基礎東京大学・大学院農学生命科学研究科
アグリバイオインフォマティクス教育研究プログラム
門田幸二（かどた こうじ）
kadota@iu.a.u-tokyo.ac.jp
http://www.iu.a.u-tokyo.ac.jp/~kadota/
Jul 23 2015

1

Linux基礎では















7/24以降で用いるデータのコピーやプログラムのインストール作業、乳酸菌学会誌連載第4回のウェブ資料W7-1以降の内容が中心。受講人数は7/10頃  7/16頃。

7月22日（水）：84→83名。Bio-Linux 8とRのインストール状況確認。基本自習（門田・寺田先生）
7月23日（木）：92→90名。Linux基礎。LinuxコマンドなどUNIXの基礎の理解（門田）
7月24日（金）：85→83名。スクリプト言語。シェルスクリプト（アメリエフ株式会社 服部恵美先生）
7月27日（月）：93→91名。スクリプト言語。Perl（アメリエフ 服部先生）
7月28日（火）：91→90名。スクリプト言語。Python（アメリエフ 服部先生）
7月29日（水）：94→88名。データ解析環境R（門田）
7月30日（木）：96→91名。データ解析環境R（門田）
8月3日（月）：89→84名。NGS解析。基礎（アメリエフ 山口昌雄先生）
8月4日（火）：85→80名。NGS解析。ゲノムReseq、変異解析（アメリエフ 山口先生）
8月5日（水）：86 →81名。NGS解析。RNA-seq、統計解析（前半：山口先生、後半：門田）
8月6日（木）：104 →98名。NGS解析。ChIP-seq（理研 森岡勝樹先生）
8月26日（水）：23 →23名。NGS解析。基礎（アメリエフ 山口昌雄先生）
8月27日（木）：24 →24名。NGS解析。ゲノムReseq、変異解析（アメリエフ 山口先生）
8月28日（金）：26 →26名。NGS解析。RNA-seq、統計解析（前半： 山口先生、後半：門田）

Jul 23 20152

失敗してもたぶん大丈夫!


7/22までの環境構築済みのovaファイル
 HDD150GBの推奨手順通りのもの(約4.2GB)

 HDD50GBの推奨手順通りのもの(約4.3GB)

7/23までの環境構築済みのovaファイル
 HDD150GBの推奨手順通りのもの(約5.2GB)

isoファイルからのBio-Linux8のインストールは1時間程度かかりますが、7/22および7/23までのBioLinux8環境を構築済みのova
ファイルをUSBメモリで何通りか用意しています。それは10分程度で導入可能です。貸与PCはダウン
ロードフォルダ中にあります。①
hogeはデスクトップへ。②のように見えます。③の中から必要に応じてovaファイルを導入。

 HDD50GBの推奨手順通りのもの(約4.5GB)



Bio-Linux8オリジナルのisoファイル(約3.5GB)②の中身

USBメモリ②①

Jul 23 2015③

3

Linux（コマンド）習得の意義


ほぼ全てのデータ解析のボトルネックが自分
 クラウドベースのLinux-freeな方法では実装されていない

新しい解析プログラムをサクサクインストールして利用 インストール済みプログラムのバージョンアップも可能

簡単な動作確認ができる grepコマンドを駆使して(100%一致のk-mer出現頻度などの)解析結果を検証(乳酸菌学会誌連載第4回のW11-9)
 複数のインデックスを含むアダプター配列の検索を正規表
現で一挙に検索(W12-1)
FastQC (ver. 0.11.3)のような非常に有名なプログラムにもバグ(-nogroupオプションをつけないKmer Content結果など)がある。一般にリリース直後のプログラムや新規機能にはバグが多少なりとも存在する。複数のオプションや別のプログラムで同様の解析を行うなどしてLinux上で効率的に解析し、徹底的に動作確認するのが基本。IGVで眺めることも。

シェルスクリプト、Perl、Python、RはLinux上でも動く
 合わせ技で自在に解析
 要素技術(例えばPerl)の基本スキルがあれば、多少のエラーへの対処が可能。 →プログラミング言語
習得の意義

Jul 23 2015

4

Contents

テストデータ取得
 wgetの場合、ドラッグ&ドロップの場合、共有フォルダ経由の場合



Integrative Genomics Viewer (IGV)のインストール
 7/23不参加者はwget、7/23参加者は共有フォルダ経由

日本乳酸菌学会誌のNGS連載第4回のW7-1以降
 FastQC (ver. 0.10.1) preinstalled in Bio-Linux 8
 FastQC (ver. 0.11.3)：ダウンロード、解凍、正規表現
 FastQC (ver. 0.11.3)：パスを通す

FastQC ver. 0.11.3とver. 0.10.1の違い
 Genome Analysis Toolkit (GATK) の取得


Jul 23 20155

ターミナル起動

アメリエフ様（山口先生、服部先生）担当部分で用いる
データ(zip圧縮ファイル)をゲストOSのデスクトップに置き、解凍します。①BioLinux8を起動。貸与PCのBioLinux8のパスワードはpass1409。②ターミナルを起動。

①②

Jul 23 20156

pwd, ls①②

Jul 23 2015

Linuxコマンドおさらい。①pwdはカレントディレク
トリ（作業フォルダ）を表示。ユーザ名がiuの場合
は、/home/iuと表示される。ログイン直後は、「ホームディレクトリ」が「カレントディレクトリ」となる。②lsはディレクトリの内容を表示させるコマンドだった。ここで見えているものはディレクトリ(フォルダ)だけであるが、ヒトによって見えるものは若
干異なる。

7

①cdコマンドでDesktopに移動(change directory)。
②ls実行結果はヒトによって若干異なるだろう。ここ(/home/iu/Desktop)にファイルがあったり、以前作成した別名のディレクトリがあるかもしれないか
らである。③mac_shareという名前の共有フォルダも見られる。

cd

①

②
③

Jul 23 2015

8

wget

wgetコマンドでアグリバイオウェブ
サーバ上に置いてあるamelieff.zip
をダウンロードするやり方。

①

Jul 23 2015

9

wget

ホストOS(ここではWindows7)上のウェブブ
ラウザIEを開き、①一連のコマンドをコピー①

Jul 23 201510

ホストOS(ここではWindows7)上のウェブブ
ラウザIEを開き、①一連のコマンドをコピー。
②右クリックでペースト

基本は右クリック①②

Jul 23 201511

wget -cや-qオプション①リターンキーを押す。-cは失敗しても続きからダウンロードする(continue)ためのおまじない的なオプション。連載原稿中では-qも用いているが、これは単に途中経過を表示させない(quiet)ようにするオプション。

①

Jul 23 201512

終了後の状態

ダウンロード正常終了の場合⑤
Jul 23 201513

clearで画面リフレッシュ①画面をリフレッシュすべく、clear。
「CTRL + L」でもよい。

①

Jul 23 201514

こんな感じになるはず

clear実行後

Jul 23 201515

ls -l①①今自分がどこで作業をしていて(pwd)、②そこに何があるか(ls)は、
ときどき無意識に打つようにして把握するように努めましょう。③「ls -l」とすることで詳細情報が見られる。

②③

Jul 23 201516

ls –l結果の読み取り方③

Jul 23 2015

①ダウンロードしたzipファイルが見られる。
②ファイルサイズは40,445,616 bytes。③
これはディレクトリではないので「-」。

②
①

17

ls -la①「ls -la」とすることで「. (どっと)」から始まるファイルなどを含んだ
詳細情報が見られる。

①

Jul 23 201518

ターミナル横幅次第で…

lsだけだと、①「Bio-Linux
Documentation」が2つのディレクト
リからなると勘違いしそうになるが、②ls –laなどとすることで1つのディレクトリであることが確認できる。
ターミナルの横幅次第で2行にわたって見える。このあたりは慣れ。

①②

Jul 23 201519

①「ls -lh」とすることでヒト(human)
が判読しやすい表示形式になる。
②amelieff.zipは39MBだということ。
③赤枠内を眺めることで、ファイル(-)、ディレクトリ(d)、シンボリックリ
ンク(l)などを判読可能。

ls -lh①②③

Jul 23 201520

メニューバー
①

Jul 23 2015

①赤枠部分にカーソルを移動させるとメニューバーが見られる。この状態
は、ゲストOS内で全画面表示でター
ミナルを開いているのと同じです。

21

ターミナル画面の移動・終了②①下のほうに移動させることができる。ターミナルを閉じたいときは、②×ボタンを押してもいいし、③exitでもよい。

①③

Jul 23 201522

rmでファイル削除

ネットワークの不調などでwgetで取得できな
い局面がよくある。別の方法を示すべく、一旦①amelieff.zipファイルをrmコマンドで削除。
-fオプションをつけると問合せをしてこない(赤四角)。②lsで消えていることを確認。

①②

Jul 23 201523

Contents

テストデータ取得
 wgetの場合、ドラッグ&ドロップの場合、共有フォルダ経由の場合



Integrative Genomics Viewer (IGV)のインストール
 7/23不参加者はwget、7/23参加者は共有フォルダ経由

日本乳酸菌学会誌のNGS連載第4回のW7-1以降
 FastQC (ver. 0.10.1) preinstalled in Bio-Linux 8
 FastQC (ver. 0.11.3)：ダウンロード、解凍、正規表現
 FastQC (ver. 0.11.3)：パスを通す

FastQC ver. 0.11.3とver. 0.10.1の違い
 Genome Analysis Toolkit (GATK) の取得


Jul 23 201524

ドラッグ&ドロップ戦略①

Jul 23 2015

ホスト→ゲストは、ドラッグ&ドロッ
プでファイルのコピーが可能。①
ターミナル画面を最小化してデスクトップが見られるようにする。

25

ドラッグ&ドロップ戦略

ホストOS(Windows)上ではこんな感じに見えます。①デスクトップ上にある
hogeフォルダ中に②amelieff.zipがあるので、それを③ゲストOSのデスク
トップにドラッグ&ドロップ。

①②③

Jul 23 201526

無事コピーできたことがわかります

ドラッグ&ドロップ戦略

Jul 23 201527

ドラッグ&ドロップ戦略①ターミナル画面上で確認すべく、ター
ミナルアイコンを一回押すと、最小化されていたターミナルが復帰されます。

①

Jul 23 201528

ドラッグ&ドロップ戦略④①コピー前と②コピー後。確かに
amelieff.zipが存在することがわかる。
③pwdで一応カレントディレクトリを表示させているが、④や⑤を見れば自分の現在地がわかる。

①

②

③
⑤

Jul 23 201529

ドラッグ&ドロップ戦略①①一旦ターミナルを最小化してもいいし、しなくてもよい。②引出し
アイコンをクリックしてデスクトッ
プにたどり着くやり方を示す。

②

Jul 23 201530

ドラッグ&ドロップ戦略①

Jul 23 2015

こんな感じになります。デフォルトの場所はホームディレクトリ。/home/iuの場所でlsした結果と同じものが見えています。ターミナ
ル画面と同様、①赤枠部分にカーソルを移動させるとメニューバーが現れるので、下のほうに移動させてみる。

31

ドラッグ&ドロップ戦略

こんな感じになります。①後ろに隠れているのはターミナル画面。
クリックすればアクティブになる。

①

Jul 23 201532

こんな感じになります。

ドラッグ&ドロップ戦略

Jul 23 201533

ドラッグ&ドロップ戦略①画面サイズを小さくして、②「CTRL + L」で画面をリフレッシュ。

①

Jul 23 201534

ドラッグ&ドロップ戦略

Jul 23 2015

①画面サイズを小さくして、②「CTRL + L」で画面をリフレッシュ。

35

①1つ上の階層のディレクトリに移動するのは「cd ..」。この場合はホームディレクトリへの移動が目的なので、「cd」のみでもよい。
③同じものが見えていることがわかる。

cd ..

③
①
②

Jul 23 201536

①Desktopをダブルクリックで開く

GUI画面上での操作①

Jul 23 2015

37

GUI画面上での操作①①この部分で階層構造がわかる。pwd実行
結果と同じようなものが常に表示されているイメージ。特に詳細に指示されていなくても、この部分をみて自分で適切にフォルダ移動できるようになりましょう。②もちろんGUI画面上でもファイルのコピーや削除などができます。

②

Jul 23 2015

38

GUI画面上での操作

amelieff.zipのGUI画面上での削除（正確にはゴミ箱への移動）法。
①右クリックで、②Move to Trash。

①②

Jul 23 2015

39

GUI画面上での操作①zipファイルが②ゴミ箱に移動したのがわかる。

①②

Jul 23 201540

Contents

テストデータ取得
 wgetの場合、ドラッグ&ドロップの場合、共有フォルダ経由の場合



Integrative Genomics Viewer (IGV)のインストール
 7/23不参加者はwget、7/23参加者は共有フォルダ経由

日本乳酸菌学会誌のNGS連載第4回のW7-1以降
 FastQC (ver. 0.10.1) preinstalled in Bio-Linux 8
 FastQC (ver. 0.11.3)：ダウンロード、解凍、正規表現
 FastQC (ver. 0.11.3)：パスを通す

FastQC ver. 0.11.3とver. 0.10.1の違い
 Genome Analysis Toolkit (GATK) の取得


Jul 23 201541

共有フォルダ

連載原稿手順通りだと、①ゲストOSの~/Desktop/mac_shareの中身は、ホスト
OSのDesktopにあるshareフォルダと同じ。

①

Jul 23 201542

ここでは何も見えていないが、ヒトによっておそらく異なる。重要なのは、何が入っているかではない

共有フォルダ①

Jul 23 201543

共有フォルダ

重要なのは、①ホストOSのデスクトップにあるshareフォルダの②中身と、③ゲストOSの~/Desktop/mac_shareの中身が同じだということ。

①

②

③

Jul 23 201544

共有フォルダ①ホストOSのデスクトップにあるhogeフォ
ルダ中の②amelieff.zipを、③shareフォル
ダにコピー（そのまま移動させるのでもよい）

①

③

②

Jul 23 201545

共有フォルダ①コピー後の状態。②ホストOS上では
shareフォルダ中にamelieff.zipが見られるが、ゲストOS上では特に変化なし。

①

Jul 23 201546

共有フォルダ

ウェブブラウザのリロードみたいなことをすればいいのだろうと思い、①表示形式を変更するボタンを押すと無事見られた。

①

Jul 23 201547

共有フォルダターミナル画面上でも見られるようになっています。①画面をリフレッシュすべく、clear。

①

Jul 23 201548

共有フォルダ~/Desktop/mac_shareに移動してamelieff.zip
がターミナル上でも見られることを確認しているだけです。②全画面表示にしておきましょう。

②①

Jul 23 201549

デスクトップに移動①amelieff.zipを1つ上のディレクトリにmvで移動。タブ補完を有効利用してますよね?

①

Jul 23 2015

50

unzipで解凍①カレントディレクトリも1つ上に移動し、②unzipコマンドで解凍。

①②

Jul 23 2015

51

実行結果

unzipで解凍

Jul 23 2015

52

確認

amelieffディレクトリが作成されているのがわかります①②

Jul 23 2015

53

確認

Jul 23 2015

このように見えていればOK。ホストOSからゲストOSだけでなく、ゲストOSからホストOSへのファイルの移動も共有フォル
ダ経由で可能。使い慣れたホストOS環
境を有効利用して効率的に解析を行おう。

54

Contents

テストデータ取得
 wgetの場合、ドラッグ&ドロップの場合、共有フォルダ経由の場合



Integrative Genomics Viewer (IGV)のインストール
 7/23不参加者はwget、7/23参加者は共有フォルダ経由

日本乳酸菌学会誌のNGS連載第4回のW7-1以降
 FastQC (ver. 0.10.1) preinstalled in Bio-Linux 8
 FastQC (ver. 0.11.3)：ダウンロード、解凍、正規表現
 FastQC (ver. 0.11.3)：パスを通す

FastQC ver. 0.11.3とver. 0.10.1の違い
 Genome Analysis Toolkit (GATK) の取得


Jul 23 201555

ダウンロード

日本乳酸菌学会誌の連載第4回ウェブ資料W18と基本的に同じです。IGV のインストール手順を示します。①Registrationをしてから、②Downloads。
7/23参加者はダウンロード済みのzipファイルがhogeフォルダ中にあります。

②①
Jul 23 201556

ダウンロード①「Download Binary Distribution」をダ
ウンロードすべく、右クリックで「ショート
カットのコピー」などでURL情報を取得。

①

Jul 23 201557

7/23不参加者②①wgetコマンドを用いてzipファイルのダウンロード。リターンキーを押す。約30MBです。
②たとえDownloadsディレクトリ中に赤枠内のような今は無関係のものが見えていても気にしない。門田の環境では、これらを既にインストールしているので見えているだけです①

Jul 23 201558

ダウンロード途中経過

7/23不参加者①

Jul 23 201559

7/23不参加者①この環境では、ダウンロードに23秒かかっ
たことがわかる。②IGV_2.3.57.zipは約29MB①②
Jul 23 201560

7/23参加者①ホストOSのデスクトップにあるhogeフォ
ルダ中の②IGV_2.3.57.zipを、③ゲスト
OSの~/Downloadsにドラッグ&ドロップ。

①②

Jul 23 2015③61

7/23参加者（駐車禁止マークが出るなどして）うまくドロップできないときもあります。①1つの対策は左右を入れ替えること。それでもうまくいかない場合は②一旦再起動。それでもだめなら③共有フォルダ経由などで、どうにか迂回路を駆使してください。
②③①

Jul 23 201562

①ただの確認です

7/23参加者①

Jul 23 2015

63

解凍

①zip圧縮ファイル(IGV_2.3.57.zip)を解凍。③IGV_2.3.57というディレクトリ
が作成されていることがわかります。

①

②

③

Jul 23 2015

64

igv.shが実体だが…
①①~/Downloads/IGV_2.3.57に移動。②この中のigv.shがIGVの実体。実行権限も付与されているので、「chmod 755 igv.sh」は必要ない。しかし、③igv.shと打っても実行されない。その理由は「パスが通ってないから」。

②③

Jul 23 201565

パスを通す①igv.shのシンボリックリンクを/usr/local/binに置く。パスワードを聞かれたら、ログインパ
スワード(pass1409)を打ち込む。

①

Jul 23 201566

パスを通す③①「sudo ln –s …」後に、②もう一度igv.shと打
つと、いろいろメッセージが表示される。③もし再び「command not found」となったら、rehashというコマンドを打ってからもう一度igv.shとやればうまくいくだろう。rehashは、設定変更（この場合シンボリックリンク）を現在開いているターミナ
ル上で反映させるためコマンドです。ウェブブラ
ウザのリロードのようなものです。

①②

Jul 23 2015

67

IGV起動と終了

こんな感じでIGVが起動すればOK。①×を押して閉じる。

①

Jul 23 2015

68

IGV終了後①コマンド入力待ち状態になっているはずです。

①
Jul 23 201569

パスを通す意味

どのディレクトリ上からでもigv.shを実行できるようにしたいがためにパスを通すのです。①の場合は、カレントディレクトリ（作業ディレクトリ）上にigv.shがあるので、あまり説得力はありません(爆)

①

Jul 23 201570

パスを通す意味

igv.shがカレントディレクトリ上にないところ（例えば①の~/Desktop）でigv.shを実行してみると、より納得できるでしょう。

①

Jul 23 201571

Contents

テストデータ取得
 wgetの場合、ドラッグ&ドロップの場合、共有フォルダ経由の場合



Integrative Genomics Viewer (IGV)のインストール
 7/23不参加者はwget、7/23参加者は共有フォルダ経由

日本乳酸菌学会誌のNGS連載第4回のW7-1以降
 FastQC (ver. 0.10.1) preinstalled in Bio-Linux 8
 FastQC (ver. 0.11.3)：ダウンロード、解凍、正規表現
 FastQC (ver. 0.11.3)：パスを通す

FastQC ver. 0.11.3とver. 0.10.1の違い
 Genome Analysis Toolkit (GATK) の取得


Jul 23 201572

データ解析の全体像①FastQCはこのあたりで使うものです。FastQC (ver. 0.10.1) は、Bio-Linux8にプレインストールされています①

Jul 23 2015

73

W7-1

FastQC：初期状態①

スタート地点。①作業ディレクトリは~/Documents/srp017156。②この2つのファイルがあれば基本OK。ここでは、gzip
圧縮ファイル(.gz)になっているが、.bz2や非圧縮ファイルも試してみるとよい。

②

Jul 23 2015

74

W7-1

間違ってもあせるな

想定外の状態になってしまった場合の対処法。①「fastqc」と打ってから、間違ってそのままリターンキーを押すと、②
右下のような画面になってしまう。この状態から脱出するには…。

①②

Jul 23 2015

75

W7-1

間違ってもあせるな

この状態から脱出するには、「①File - ②
Exit」。右下は復帰後のターミナル画面。

①②

Jul 23 2015

76

W7-2

fastqc

基本的な使い方は「fastqc 任意のファイル名」。「SRR」まで打ってからTabキーを押すなどのタブ補完を利用するのも一つだが、他のやり方として、入力したいファイル名を反転させ、①右クリックでコピー、②右クリックでペースト、というのも一般的です。

①

Jul 23 2015

77

W7-2

fastqc

基本的な使い方は「fastqc 任意のファイル名」。「SRR」まで打ってからTabキーを押すなどのタブ補完を利用するのも一つだが、他のやり方として、入力したいファイル名を反転させ、①右クリックでコピー、②右クリックでペースト、というのも一般的です。

②

Jul 23 2015

78

W7-3

リターンキーを押した後の状態。約20秒。

fastqc実行Jul 23 201579

fastqc①

W7-4 ①「ls -lh」実行結果。②赤枠部分がfastqcコマンドで作成されたもの。1つはSRR616268sub_1_fastqcという名前のディレクトリ。もう1つはそのzip圧縮ファイル。②「ls –lh SRR616268sub_*」実行結果。ls–lh実行時にディレクトリも指定していることになる
ので、④ディレクトリの中身をリストアップしている②③④

Jul 23 2015

80

W7-5

fastqc -h

プログラムのマニュアルを眺めるのは、パスが通っていれば基本的にどのディレクトリ上で行ってもよい。①「fastqc -h」と打ってリターン。

①

Jul 23 2015

81

W7-5

fastqc -h

マニュアルが一気に表示されて何が何だかわからない（爆）。そういうときはパイプ(|)でlessやmoreに流し込む。ここでは①lessを用いる例を示す。上矢印キーを有効利用!

①

Jul 23 2015

82

W7-5

fastqc -h

Jul 23 2015

この状態は、fastqcのマニュアルページをlessで眺めていると解釈すればよい。基本
的に、上下矢印キーでページをスクロール。

83

W7-5

fastqc -h①進捗状況を非表示にしたい場合は、-qオ
プションをつければよさそうであることが分かる。②(END)となったら、下矢印キーで一番下まできた状態であることを示す。この状態から抜けるには、qキーを押せばよい。

①②

Jul 23 2015

84

W7-5

fastqc -h

Jul 23 2015

lessから抜け出した状態。このように、ちょっとした場面で様々なLinuxコマンドを駆使して合理的に作業を行うのが一般的。基本的なコマンドを使いこなせないと対処法を思いつかない。数日程度で習熟できるものではなく、数週間程度はかかるのが一般的。

85

W7-6

fastqc -q①「-q」オプションをつけてfastqcを実行。確
かにW7-3と違って進捗状況を非表示にできていることがわかる。②赤枠のように実行
結果として「ディレクトリ」と「同じ内容のzipファイル」がちゃんと生成されている。このようにしてオプション利用の幅を広げていく。

①②

Jul 23 201586

Tips: ls -d①

W7-7 W7-4や①で示すように、ls –lhだと*fastqc*中にディレクトリを含む場合には、ディレクトリの中身まで表示される。②ディレクトリもファイルと同じように表示したい場合はdオプションをつければよい。

②

Jul 23 201587

Tips: rm -f

W7-7 おさらい。rmコマンドの-fは、消してよいかを問い合わせる警告メッセージを表示しない、というオプション。①「rm –f」ではディレクトリは削除できない①

Jul 23 2015

88

W7-7

①ディレクトリの削除は-rオプションをつける。

Tips: rm -rf①

Jul 23 2015

89

W7-8

シェルスクリプト

7/24のシェルスクリプトの基本形を示す。①wgetでファイルをコピー。「ホスト – ゲスト」間でのコピペがうまくいかない場合は、共有フォルダを使うなり、ゲストOSのウェブブラウザを使うなり個別対処!②でエラーが出ていなけ
れば、③のファイルが作成されるはず。

①②③
Jul 23 2015

90

W7-8

chmodで権限変更

実行権限が付与されていない場
合は、①chmodで付与しておく。

①

Jul 23 2015

91

W7-8

moreで確認①moreはファイルの中身を表示。②赤枠がJSLAB4_2_Linux2.shの中身。データを取得した大元のDDBJのURLや、どのようにサブセットを抽出してきたのかが分かる。

①②

Jul 23 2015

92

W7-8

shで実行

①シェルスクリプトの実行。②実際に実行されるのは、行頭に#がついていない赤枠部分のみ。③実行結果として生成されるもの

②
①
③
③

Jul 23 2015

93

W7-9

cp -r

①ディレクトリごとコピーしたい場合は-rオ
プションをつけて実行。次のスライドが説明①

Jul 23 2015

94

W7-9

cp -r

①

Jul 23 2015

①SRR616268sub_1_fastqcディレクトリを、②共有フォルダ(~/Desktop/mac_share)にコピーしている。

②

95

W7-9

共有フォルダのおかげで①ゲストOS上で作業をする苦行から少しでも解放されるのでステキ①

Jul 23 2015

96

W7-9

共有フォルダのおかげでJul 23 2015

コマンドライン環境から少しでも解放されたいヒトはこちら。ただ、そういうヒトはLinuxではなくGalaxyなどのLinux-free?!系をお勧めします97バージョン①②③

W7-10 同じプログラム名（この場合FastQC）でも、様々なバージョンが存在する。「コマンド名 -v」でバージョン情報を見られる場合が多い。FastQCの場
合は、①小文字でも②大文字でもどちらでも同じ結果になる。このバージョン情報(FastQC ver.
0.10.1)は忘れずに論文中に記載しましょう。もし-V or –vのいずれでもうまく表示されない場合は③「man コマンド名」または④「コマンド名 -h」でマニュアル中のバージョン情報表示法を調べる④

Jul 23 2015

98

W8-2

FastQC ver. 0.10.1

FastQC (ver. 0.10.1)実行結果(htmlレポート)を眺めることで、総リード数や全体的なクオリティ、アダプター配列やプライマー
配列の混入状況などを様々な角度から概観できる。詳細は8/3以降の講習会で予定。7/30のRでも少し触れるかも…。

①②

Jul 23 2015

99

W8-2

例えばKmer_Contentの項目はこんな感じ

FastQC ver. 0.10.1①

Jul 23 2015

100

W9-1

最新版は0.11.3

FastQCのウェブサイトの場合、ページ下部のChangelogを眺めると、リリースされたバージョンの歴史をたどることができる。2015年7月15日現在のFastQCプログラムの①最新版は、ver.
0.11.3。Bio-Linux8にプレインストールされているver. 0.10.1以降、下記のような②新機能やバグ修正がなされている。

①②
Jul 23 2015

101

Contents

テストデータ取得
 wgetの場合、ドラッグ&ドロップの場合、共有フォルダ経由の場合



Integrative Genomics Viewer (IGV)のインストール
 7/23不参加者はwget、7/23参加者は共有フォルダ経由

日本乳酸菌学会誌のNGS連載第4回のW7-1以降
 FastQC (ver. 0.10.1) preinstalled in Bio-Linux 8
 FastQC (ver. 0.11.3)：ダウンロード、解凍、正規表現
 FastQC (ver. 0.11.3)：パスを通す

FastQC ver. 0.11.3とver. 0.10.1の違い
 Genome Analysis Toolkit (GATK) の取得


Jul 23 2015

102

W9-1

インストールChangelogよりも、②の「Release Notes」が一般的かもしれません。③基本的には、ここを見ながら自力でインストールします。リンク
先のマニュアルをざっと眺めても、現時点でもchmodなどいくつかのコマンドや相対パスの意味は分かるようになっているでしょう。

①②

Jul 23 2015

③

103

W9-2

インストール①

Linux上でのプログラムのインストール作業
は、「このプログラムを実行するためにはこれが必要で…」という前もって必要な事柄(prerequisite)やプログラムの依存関係(dependency)との格闘。以下は、②ターミナ
ル上で「java -version」と打ち込み、javaが入っていること、および③バージョンが1.5以上であることを確認せよ、と読み取る。

②③
Jul 23 2015

104

W9-2

java -version①

作業ディレクトリはどこでもよいので「java -version」と打ち込み、javaが入っており、そのバージョンが1.5以上(ver.
1.7.0_79)であることを確認。ヒトによって、多少バージョン番号が違うかもしれな
いが条件さえ満たしていれば問題ない②

Jul 23 2015105

①zipファイルのURL情報を②で取得。③
Downloadsディレクトリで作業を行う。「wget –c 」と打ち込んだ後に、④コピーしたURL情報
をペースト。⑤ls –lhで確認。zipファイルは約10MB。7/23参加者はホストOSのデスクトップにあるhogeフォルダ中にfastqc_v0.11.3.zipがあるので「ドラッグ&ドロップ」か「共有フォルダ経由」でサクッとやりましょう。

W9-2

ダウンロード①②③⑤

Jul 23 2015

④

106

W9-2

ダウンロード「ドラッグ&ドロップ」でサクッとやる場合。何度かヤラレタ経験があるかもしれませんが、①
ゲストOSの赤枠付近を通ってドラッグ&ドロッ
プしようとすると、移動中に画面が遷移してう
まくいかない場合があります。そういう場合
は、そこを通らないようにうまくやりましょう。
例えば②のように右から左といった具合。

①②

Jul 23 2015107

①(余分な)進捗状況を非表示にして(-qオ
プションをつけて)zipファイルを解凍する
unzipコマンドを実行。②FastQCというディレクトリが作成されていることが分かる。③
このディレクトリ中のfastqcが実行コマンド

W9-2

unzip -q①②③

Jul 23 2015

108

W9-2

解凍後の作業

解凍後の作業は、chmodで実行権限を付与さえすればよいようだ。これが「You may need to make thisfile executable」に相当。

①②③

Jul 23 2015

109

W9-2

chmod 755

①実行権限を付与して、（その前後で）確認しているだけです。

①

Jul 23 2015

110

W9-2

chmod 755

もし打ち間違えて「chmod 666 fastqc」などとしちゃったとしても、もう一度「chmod 755 fastqc」と打てばよい。最終的に①赤枠のようにrwxr-xr-xのようになっていればよい。

①

Jul 23 2015

111

W9-3

パス（のイントロ）①実行権限を付与した後にfastqcのバー
ジョン情報を表示すると、Bio-Linux 8にプレインストールされているFastQC (ver.
0.10.1)のままとなっている[W7-10]。

①

Jul 23 2015

112

W9-3

パス（のイントロ）①②「./fastqc -v」とやると、カレントディレ
クトリ(.)中にある最新版のfastqcコマン
ドが実行される。これは一種の相対パス指定でのコマンド実行に相当。③「/home/iu/Downloads/FastQC/fastqc」と絶対パス指定にしてもよいし、④ホー
ムディレクトリ(~)からの相対パス指定で
もよい。

②
③
④

Jul 23 2015

113

W9-3

パス（のイントロ）

但し、通常の作業ディレクトリは「~/Downloads/FastQC」ではない。そのため、②の「./fastqc -v」は非現実的。

①
②
③
④

Jul 23 2015

114

W9-3

バージョンの違い①

ここの目的は、FastQCのver. 0.10.1と0.11.3では、出力結果が異なることを示すこと。まずは実行結果のおさらい。①以前の作業ディレクトリに移動し、②入出力ファイル群をリストアップ。

②

Jul 23 2015

115

W9-3

正規表現

②このとき、タブ補完時に分かるが、「SRR616268sub_」以降で複数の可能性が存在。これを全て表現するのが「*」。

①②

Jul 23 2015

116

W9-3

正規表現
①

②の実行結果中、赤枠のものがFastQC
ver. 0.10.1実行結果。ver. 0.11.3を実行してどのような出力結果が得られるか知りたい
ので、赤枠のもののみ一旦削除したい。

②

Jul 23 2015

117

W9-3

正規表現

「削除したいもの」と「残したいもの」の違いは、ピンク色部分あたり。これらの違いをうまく利用して、赤枠の削除したいものを表現する。

①②

Jul 23 2015

118

W9-3

③の「_」と「.」の違いをうまく利用するやり方が④

正規表現
②

③

④

Jul 23 2015

119

W9-3

⑤の「c」と「.」の違いをうまく利用するやり方が⑥

正規表現
②

⑤

⑥

Jul 23 2015

120

W9-3

rm -rf①rmで、ディレクトリも含めて(-r)、消してい
いか聞くことなく(-f)、SRR616268sub_*_*という条件を満たすファイル群を消去。この種のテクニックは、特にファイル数が多い場合に威力を発揮する。

①

Jul 23 2015

121

W9-3

FastQC ver. 0.11.3①FastQC ver. 0.11.3の実行コマンド(~/Downloads/FastQC/fastqc)で再度FastQCを実行。-qは途中経過を表示させな
いようにするオプション。つけてもつけなくてもよい。この段階でFastQC ver. 0.11.3を最低限動かせる状態までたどり着いたことになる①

Jul 23 2015

122

W9-3

FastQC ver. 0.11.3

それが、マニュアルの②の部分に相当。
「./fastqc」が通用するのは、作業ディレク
トリが「~/Downloads/FastQC」の場合に限定されることも、今ならわかるだろう。

①②

Jul 23 2015

123

W9-3

FastQC ver. 0.11.3

FastQCの①ver. 0.10.1と②ver. 0.11.3では、出力形式が異なっていることがわかる。

①②

Jul 23 2015124

Contents

テストデータ取得
 wgetの場合、ドラッグ&ドロップの場合、共有フォルダ経由の場合



Integrative Genomics Viewer (IGV)のインストール
 7/23不参加者はwget、7/23参加者は共有フォルダ経由

日本乳酸菌学会誌のNGS連載第4回のW7-1以降
 FastQC (ver. 0.10.1) preinstalled in Bio-Linux 8
 FastQC (ver. 0.11.3)：ダウンロード、解凍、正規表現
 FastQC (ver. 0.11.3)：パスを通す

FastQC ver. 0.11.3とver. 0.10.1の違い
 Genome Analysis Toolkit (GATK) の取得


Jul 23 2015

125

W9-4

パス

①の結果を眺め、Bio-Linux 8にプレインストー
ルされているfastqcコマンドの実体はどこか？
なぜ（lsやpwdのような基本コマンドと同様）どのディレクトリ上でもfastqcコマンドを打つとFastQC (ver. 0.10.1)が実行されるのかが気になる。これがパスの概念を知るスタート地点①

Jul 23 2015

126

W9-4

パス

コマンドを実行するプログラムの場所を知りた
い場合には、②「whereis コマンド名」、③「
which コマンド名」、または④「where コマンド
名」と打てばよい。FastQC (ver. 0.10.1)の実体であるfastqcコマンドは/usr/local/binというディレクトリ上に存在することがわかる。

①
②
③
④

Jul 23 2015

127

W9-4

パス

⑥のFastQC (ver. 0.11.3)の実体である/home/iu/Downloads/FastQC/fastqcも、/usr/local/binにコマンドのショートカットを置いておけば、プログラムの実体がどこにあるかを覚えておかなくていいので楽ができる。この作業を「パスを通す」という

①
②
③
④
⑤

⑥

Jul 23 2015

128

W9-4

パス

①/usr/local/binに移動し、②ls。
fastqcコマンドは確かに存在する。
これの詳細情報をls –lhで眺める。

①②

Jul 23 2015

129

パス
①

Jul 23 2015①/usr/local/bin中のfastq*の条件を満たすファイル(実W9-4
質的にfastqcのみ)の詳細情報を表示。「lrwxrwxrwx」となっている。この一番左側のl(エル)は、fastqcコマンド自体がシンボリックリンクであることを意味する。実体のないショートカットのようなもの、という捉え方でよい。そして、実体は赤下線部分に存在する。

130

パス
①

赤下線で書かれているままに、②「../bioinf/fastqc/fastqc」
W9-4
ディレクトリに移動。これは「/usr/local/bin」から1つ上のディレクトリ(..)にあるbioinf/fastqc/fastqcディレクトリに移動するという意味。相対パスの概念 [W4-6]を理解できていれば、③のpwdの結果に納得できるはず。④確かにFastQC(ver. 0.10.1)のfastqcコマンドの実体がある。

②③④

Jul 23 2015

131

W9-5

パスを通す
①

FastQC (ver. 0.11.3)の実行コマンド/home/iu/Downloads/FastQC/fastqcをどこのディレクトリ上からも利用できるようにする
ためには、/usr/local/binにシンボリックリンクを張っておけばいいことがわかっている。その状態で②赤下線部分の説明書きを眺めると、何を言わんとしているのかがわかる。

②
Jul 23 2015

http://www.bioinformatics.babraham.ac.uk/projects/fastqc/INSTALL.txt

132

W9-5

パスを通す

②は、実行コマンド/path/to/FastQC/fastqcをどこのディレクトリ上からも利用できるようにするために、③/usr/local/binにfastqcという名前で、管理者権限(sudo)でシンボリックリンクを張る(ln -s)ということ②③
http://www.bioinformatics.babraham.ac.uk/projects/fastqc/INSTALL.txt

Jul 23 2015

133

W9-5

パスを通す

ただし、ゲストOS (Bio-Linux 8)環境では、④/usr/local/bin/fastqcは、FastQC (ver. 0.10.1)の実行
コマンドとして既に存在する。これはただのリマインド②③
http://www.bioinformatics.babraham.ac.uk/projects/fastqc/INSTALL.txt④

Jul 23 2015

134

W9-5

パスを通す

それゆえ、（上書きしちゃってもいいが）ここでは/home/iu/Downloads/FastQC/fastqcをfastqc2という名前で/usr/local/binにシンボリックリンクを張る。

②③
http://www.bioinformatics.babraham.ac.uk/projects/fastqc/INSTALL.txt

Jul 23 2015135

W9-5 ①は管理者権限(sudo)で実行しないと失敗するという例。
②sudoをつけてリトライ。パスワードを要求されたら、「ログインパスワード(pass1409)」を打ち込む。③/usr/local/bin
中のfastqc*の条件を満たすコマンド群を表示。

パスを通す

http://www.bioinformatics.babraham.ac.uk/projects/fastqc/INSTALL.txt①②③

Jul 23 2015

136

確認

W9-6 （作業ディレクトリはどこでもよい）①whereでfastqc2
コマンドの場所を表示。確かにパスが通っていることがわかる。②コマンドもタブ補完で表示可能。例えば
fastqまで打ち込んでから、Tabキーを押す。そうするとfastqから始まる利用可能なコマンドが表示される。

①②

Jul 23 2015

137

W9-6

rehashここにfastqc2が見られるはずだが…見られな
い理由は、現在開いているターミナルの環境設定が起動したときの状態のままだから。①
ウェブブラウザのリロードボタンに相当するのがrehash。その後、もう一度fastqまで打って
からTabキーを押すと、②fastqc2が見られる①②

Jul 23 2015

138

W9-6

確認

Jul 23 2015

（作業ディレクトリはどこでもよい）という証拠を示しているだけ。

139

Contents

テストデータ取得
 wgetの場合、ドラッグ&ドロップの場合、共有フォルダ経由の場合



Integrative Genomics Viewer (IGV)のインストール
 7/23不参加者はwget、7/23参加者は共有フォルダ経由

日本乳酸菌学会誌のNGS連載第4回のW7-1以降
 FastQC (ver. 0.10.1) preinstalled in Bio-Linux 8
 FastQC (ver. 0.11.3)：ダウンロード、解凍、正規表現
 FastQC (ver. 0.11.3)：パスを通す

FastQC ver. 0.11.3とver. 0.10.1の違い
 Genome Analysis Toolkit (GATK) の取得


Jul 23 2015

140

W9-7

FastQC ver. 0.11.3①W9-3で実行したFastQC (ver. 0.11.3)
を一旦削除。様々な削除法があります。②fastqc2コマンドを再実行。

①②

Jul 23 2015141

mvで共有フォルダへ①W9-3で実行したFastQC (ver. 0.11.3)
を一旦削除。様々な削除法があります。②fastqc2コマンドを再実行。

①

Jul 23 2015142

ホストOS上ではこんな感じになります。①FastQC
ver. 0.11.3の結果を眺めてみる。

①

Jul 23 2015143

FastQC ver. 0.11.3①ver. 0.11.3では(正確にはver. 0.11.1以降)
Adapter Contentという項目が追加されている。
②Kmer Contentのk値のデフォルトが変更されている(ver. 0.11.3ではk=7; ver. 0.10.1ではk=5)。

①①②

Jul 23 2015

144

W8-2

FastQC ver. 0.10.1①ver. 0.11.3では(正確にはver. 0.11.1以降)
Adapter Contentという項目が追加されている。
②Kmer Contentのk値のデフォルトが変更されている(ver. 0.11.3ではk=7; ver. 0.10.1ではk=5)。

①

Jul 23 2015145

Contents

テストデータ取得
 wgetの場合、ドラッグ&ドロップの場合、共有フォルダ経由の場合



Integrative Genomics Viewer (IGV)のインストール
 7/23不参加者はwget、7/23参加者は共有フォルダ経由

日本乳酸菌学会誌のNGS連載第4回のW7-1以降
 FastQC (ver. 0.10.1) preinstalled in Bio-Linux 8
 FastQC (ver. 0.11.3)：ダウンロード、解凍、正規表現、
 FastQC (ver. 0.11.3)：パスを通す

FastQC ver. 0.11.3とver. 0.10.1の違い
 Genome Analysis Toolkit (GATK) の取得


Jul 23 2015146

7/23参加者

Jul 23 2015

「ホストOS – デスクトップ – hoge」フォルダ中にある①
GenomeAnalysisTK…というbzip2圧縮ファイルをゲスト
OSのホームディレクトリにコピー（ドラッグ&ドロップ）。

147

7/23不参加者

Jul 23 2015

事務局から送られるURLからダウンロードで取得するなりしてください。作業自体は大したことないので、講習会参加当日早めに来て、USBメ
モリ経由で対応するのでもいいと思います。

148

この状態からスタートします全員

Jul 23 2015

149

目的

Jul 23 2015

ホームディレクトリ（/home/iu）上にあるGenomeAnalysisTK-1.6-13*.tar.bz2を/usr/local/srcに置いて、そこで解凍。

150

①単純にcpコマンドで/usr/local/srcに置こうとしても、権限がない(Permission
denied)と言われて置けません（爆）。

sudoを使う意味①②

Jul 23 2015151

所有者はrootさん①lsで/usr/localを詳細表示。②/usr/local/srcの所有者はrootという1番偉いヒトだということがわかる。super userともいいます。③ちなみに自分はiuという一般ユーザ。

①③

Jul 23 2015②152

所有者はrootさん①一般ユーザiuさんが/usr/local/srcに対して与えられている権限は、読み込み(read)と実行(execute)のみであり、書き込み(write)権限は与えられていない。だからファイルを置こうとしてPermission deniedとなったのである。

①

Jul 23 2015153

所有者はrootさん②

Jul 23 2015

もちろんrootさん(super user)は/usr/local/srcの①所有者なので、②全ての権限をもつ。

①

154

①sudo (super user do)は、一時的にrootとして実行するためのコマンド。②そのターミナルでsudoを使うおそらく初回のみ、パスワードを聞かれる。

sudoを使う意味①②

Jul 23 2015

155

権限と所有者①/usr/local/srcに確かにコピーできていることがわかる。所有者がrootであり、rw-r--r-という状況を鑑み、適切に対処すべし！

①

Jul 23 2015

156

chmod 755

このあたりは「これを実行しないことによる実害」を被ることで経験値を積む以外にない。私は755になっていなければ、反射的にchmod 755をやっておきます。
この場合は、おそらくやらなくてもうまくいくと思います①

Jul 23 2015157

tar.bz2の解凍

Jul 23 2015

基本形は、「bzip2 –dc ファイル名 | tar xvf -」。パイプで連結しているので、二箇所にsudoを入れている。このあたりも実害を被りながら経験を積んでいく。

158

特にエラーは出ていないようだ

解凍コマンド実行結果

Jul 23 2015159

こんな感じになっていればOK（なはず）

確認

Jul 23 2015160