パイプ (コンピュータ)
Unix系オペレーティングシステムのパイプ(pipe)、もしくはパイプライン (pipeline) とは、複数のプログラムの入出力をつなぐための仕組み(プロセス間通信)の一つである。
パイプを使うと、複数のプログラムを組み合わせることができるようになり、多様かつ複雑なデータ処理を効率よく柔軟に実行できる利点がある。また、現有のソフトウエア資産の再利用が可能になるため、プログラム生産性の面でも利点もある。特にターミナルで作業中にコピー&ペーストするだけでお決まりの一連の処理をさせられるメリットが非常に大きい。
抽象的な話をいきなり展開するよりも、具体的な例を見るとむしろ一発でそのメリットが理解できるので、具体例を示す。UNIX系(世に普及しているLinuxを含む)ではターミナルで次のような1行を(自分で作った備忘録的なメモや、ネット上の解説などから)コピー&ペーストして入力するだけで、次のような一連の複雑な作業を実行させることができる。
$ ls -al | grep ".txt" | awk '{print $9}' | xargs -I {} sh -c 'cat {} | grep "error" >> error.log'
この例では、lsコマンドでカレントディレクトリのすべてのファイルを表示し、grepコマンドで 「.txt」を含むファイルを(つまり拡張子が.txtのファイルを)フィルタリング抽出している。awkコマンドでファイル名を取得し、xargsコマンドはshコマンドを実行し、ファイルの各行に対してgrepを使用してエラーを検索し、検索結果を「error.log」ファイルに追記させる。
これだけの量の一連の作業を、わずか1回コピー&ペーストしてenterキーを押すだけで実現できてしまうのである。
次にUNIX系OSとpipeとの関係について説明する。
データ処理の一連の過程というのは、一般化して言うなら、入力データ、これを処理するプログラム、出力データの3つの要素で構成される。特に処理が煩雑な場合、プログラムは複雑になり、バグや保守性の悪化を誘発する傾向にある。また特定の複雑な処理のみに特化したプログラムは再利用性も悪く生産性の観点でも劣る。
この問題を解決するために、「1つだけの仕事をうまくやる、道具のようなソフトウェア」(Software Tools)をパイプラインによって組み合わせる、というアイデアがUNIXやUnix系のOSにある。これはまず、ユーザーが複雑なデータ処理を機能毎に小さく分割する事から始まる。次に、この分割された比較的単純な処理を小さくシンプルなソフトウエアで処理させる。ソフトウエアの出力データは、中間結果として、次の小さなソフトウエアの入力データにパスされる(パイプで繋ぐ)。このようにパイプで繋ぐ事を繰り返すことで、複雑な処理を小さくシンプルなソフトウエア群の数珠繋ぎで実現しようとするものである。パイプで連結することを前提とした構成のプログラムをフィルタとも呼ぶ。
直接の親子関係にあるプロセス間で通信をおこなうためfork前にあらかじめ共有しておく「無名パイプ」と、親子関係にないプロセス間で一時ファイルにディレクトリエントリする(接続自体はファイルを経由するわけではない)「名前付きパイプ」がある。ダグラス・マキルロイがUnixシェル向けに考案したことから始まり、パイプライン輸送からの連想で名付けられた。
特に、シェルなどでは縦棒(  |  )の記号を使って無名パイプを簡単に利用でき、それを指して「パイプ」と言うことも多い。プロセス群の標準ストリームを連鎖的に相互接続するもので、あるプロセスの標準出力 (stdout) を直接別のプロセスの標準入力 (stdin) に接続する。
前述のシェルのコマンドラインにおけるパイプは、中置記法で結合法則を満たす演算子と見ることができる(その時、演算子(オペレータ)のオペランドにあたるのは、各プログラムである)。これを一種の「合成」と見ることもできる。一般に数学で、f, g, h という関数があるとして h(g(f(x))) というような計算をすることを考える時、関数を関数合成の演算子 ∘ で合成した (h∘g∘f)(x) というものを考えることがあるが、パイプの演算子  |  はこれに似ており ( progF < x ) | progG | progH あるいは ( progF | progG | progH ) < x となる。
Unix系のパイプは非常に優れているので、UNIX系以外のOSの一部でもそれを模倣しようとしているものもあるが、模倣できている程度はOSごとにかなり異なり、機能のレベルがOSごとに異なっている。特にマイクロソフトのOSのパイプは、機能がかなり劣るものであり、同列に扱うことはできない。→#他
以下が典型的なパイプの利用例である。|(バーティカルバー) はシェルにパイプを指示する記号である。
grep 札幌市 Address.txt | a2ps | lpr
ファイル Address.txt から "札幌市" が含まれる行を出力し
その出力を入力として受け取って a2ps コマンドを用いて整形し
といった処理を指示している。
パイプを使用する方法に対して、中間ファイルを利用する方法
grep 札幌市 Address.txt > sapporo.txt
a2ps < sapporo.txt > print.ps
lpr < print.ps
もあるが、パイプを利用する方法に比べ記述が冗長になるだけでなく、一般に処理が遅くなる。
なぜならば、このように中間ファイルをつくる場合1つ目のプログラムがすべてのデータを処理し終えるのを待って、2つ目のプログラムが動き、さらに2つ目のプログラムが終了して初めて、3つめのプログラムを動かす必要があるためである。しかしパイプを使えば、3つのプログラムをマルチタスクにより同時に動かし、I/Oなど時間がかかる処理の待ち時間を有効に使うことができる。
さらに、逐次処理を行うために、データのサイズが大きい場合でも記憶領域を消費しない利点もある。また、データの受け渡しがメモリ上で行われるため、その点でも高速な処理が期待できる。
また、上記例はパイプや中間ファイルを利用する方法意外にも、プログラミング言語を利用して専用のソフトウエアを作成し処理する方法もある。しかしながら、パイプを利用すれば既存のUNIXコマンドのみで素早く実現したい処理を実現できる。特に一度しか実行しないような処理に対して専用のソフトウエアを作成するのは過剰であり、生産性の面でもパイプは優れている。
UNIXの設計思想である、それぞれの役割に特化したプログラムを組み合わせ、複雑な機能を実現する(ツールキットアプローチ、分割統治法)として、パイプはその成功例であり、UNIXを利用する大きな魅力のひとつとなる。
デフォルトでは、パイプ内のプロセスの標準エラーストリーム (stderr) はパイプを通して渡されず、もとのパイプを起動したコンソール(または端末)に出力される。ただし多くのシェルはこの動作を変更する追加構文を用意している。例えば csh の場合、"|" の代わりに "|&" を使えば、標準エラーストリームも標準出力と共にパイプでつながれた後続のプロセスに渡される。Bourne Shell では、まず 2>&1 と書くことで stderr をクローズして stdout に合流させ、さらにそれを(stdoutの)パイプにより次のプロセスに渡す。
通常の単純なパイプ使用法では、シェルがパイプを設定して各コマンドを起動すると、後はそれらコマンドが自動的にパイプ処理を行う。従って、パイプ処理中はシェルがそのデータ処理に関与することはない。
しかし、シェルをパイプ処理に直接関与させることもできる。その場合、一般に次のような構文になる。
このような技法を "pipemill" とも言う。
pipe() システムコールはオペレーティングシステムに新しいパイプ(無名パイプ)を生成するように要求する。この結果、2つの新しいが開かれ、プロセスに渡される。つまり、読み取り専用のパイプの口と書き込み専用のパイプの口である。これらパイプの口は、シークができないことを除いて通常の匿名と同様に扱える。読み取り専用のパイプに対する読み出し命令は、書き込み専用のパイプに対してflushされるまでブロックされる。
デッドロックを避けたり並列処理をしたりするために、1つまたはそれ以上の新しいパイプをもつプロセスは、新しいプロセスを生成するのに、一般的に fork() を呼び出す。それぞれのプロセスは、データを作り出したり利用したりする前に、使われることのないパイプの口を閉じるだろう。または、最初のプロセスが単純に新しいスレッドを生成し、ただひとつのスレッドがひとつのパイプの口の利用を保証するようにするという方法もある。
書き込み用のパイプと読み出し用のパイプを異なるプロセスが持つことで、ストリームを共有し、協調的な動作を行わせることができる。これはforkした親子関係にあるプロセス間のプロセス間通信で使われる。
また、POSIX(UNIX)では、mkfifo() または mknod() を使ってファイルシステムの名前空間に「名前付きパイプ」を作成できる。名前付きパイプは、あたかも入力ファイルまたは出力ファイルであるかのようにオープンでき、そのファイル記述子は、あたかもパイプのファイル記述子であるかのように扱える。これによって、親子関係にない任意のプロセス間でパイプ通信を行うことができる。
シェルからのコマンド操作でも、名前付きパイプの利用は有用である。シェルからは mkfifo コマンドで名前付きパイプを作ることができる。例えば、大規模なファイルツリーのコピーを、cp コマンドの再帰オプション cp -r で行うとうまくない場合がある。tar コマンドでテンポラリファイルに出力すると、ディスク全体のコピーなどでは巨大になり過ぎる。そんな場合に、テンポラリファイルではなく、名前付きパイプを出力先にするのである。通常のパイプでは、展開先に移動して展開するコマンドまで全部続けて書かねばならず、失敗しやすい。名前付きパイプを出力先にして一旦コマンドを実行し、展開先への移動や ls コマンドで状況を確認した後で、おもむろに名前付きパイプを入力元にして tar コマンドで展開すればよい。
パイプには通常、バッファリングがOSにより用意されている。例えば、あるプロセスが毎秒5000バイトのデータをパイプに送り込み、受け取る側のプロセスが毎秒100バイトしか処理できないとする。それでもデータは失われない。実際にはカーネル内で送信側プログラムの出力がキューに保持され、受信側プログラムがデータ読み取り可能となったとき、カーネルがキューからデータを送り、キュー上で送信済みとなったデータを削除する。キューの容量上限までデータが溜まると、受信側が溜まったデータを受信するまで、送信側プロセスは送信でブロックされる。Linuxではこのバッファの大きさは65,536バイトとなっている。
netcatなどのツールを使えば、パイプをTCP/IPソケットに接続できる。
パイプラインの概念とバーティカルバーによる記法は、初期のUnixシェル開発に関わったダグラス・マキルロイが考案した。彼はプログラムの出力を別のプログラムの入力とするような処理が非常に多いことに気付き、パイプを考案するに至った。そのアイデアを1973年ケン・トンプソンがUNIXにパイプとして実装した。その後、MS-DOS、OS/2、Microsoft Windows、BeOSといったOSのコマンドラインシェルにほぼ同じ記法でパイプが採用されていった。
UNIXのパイプ以前に似たような機構として、1960年代にKen LochnerがDTSS上で'communication files'という機構を実装しているが、UNIXのパイプはそれとは独立に開発された。
Apple社のmacOSもmacOS XあたりからUNIX系 OSとなったので、便利なpipeが、まったく同様に使えるようになった。
なお同社のAutomatorのアイコンも、パイプを持ったロボットで、これもパイプラインの概念を応用したソフトウェアである。
当記事はUNIX系のOSのパイプに関する記事なので、UNIX系以外のOSのパイプについての情報を混入させるのは不適切なので、ここ、つまり記事の末尾で扱う。マイクロソフト社のOSのパイプはUNIX系OSのパイプとは比較にならないほど機能が劣っている。
MS-DOSの場合
MS-DOSにおけるパイプは、シングルタスクOSという制約のためパイプの動作は中間ファイルによってエミュレートされており、利点があまり無く、単なる略記法、入力する文字数を数文字程度を減らせるといった程度のものにすぎない。MS-DOSの画面でコピー&ペーストで入力できる1行のものは、基本的にはわずか2個のコマンドを含んだものでしかなく、UNIX系のパイプと比べると機能が非常に劣っており、使う上でほとんどメリットが無い。ひとつひとつコマンドを入れるのとさして変わりなく、魅力が無いものである。だからMS-DOSのパイプは人気が無く、ほとんど使われていない。コマンドをひとつひとつ入力して実行するのと、さほど手間が変わらないからである。MS-DOSのパイプでは、学習する手間に関するコストのほうが大きくなってしまう。くだらないものなので、ほとんど使われない結果となっている。
Windowsでは、名前付きパイプを作成するサーバ側は、CreateNamedPipe() で「\\.\pipe\パイプ名」という形式の名前で作成すれば、パイプにつなぐクライアント側からファイルの読み書きと同じ操作で読み書きすることができる。また、Windows における匿名パイプは、ランダムな名前の名前付きパイプとして実装されている。
マシン間の通信にも名前付きパイプを利用することができるが、データを送るたびに、通信確認のためのデータが行き来するので、他のマシンと大量のデータを通信するときは、ソケットの方が高速である。ただし、マシン内のプロセス間通信の場合は、Windowsではカーネル内で動作するので名前付きパイプは高速である。