パンチカードの先祖は織機に由来する。いくつかの先行例はあるが、広く知られている、「厚紙でできた」「定形のカードに」「穴を開けた」ものを利用して、模様を自動的に織り込むようなカラクリが組込まれた完成度の高い自動織機は、19世紀初頭、フランスのジョゼフ・マリー・ジャカールにより作られ、その名が付けられたジャカード織機は、その末裔が今日でも使われている。機械の制御ではなく、情報の格納手段としてパンチカード状のものを最初に使ったのはセミヨン・コルサコフとされている。コルサコフは彼の考案した技法と機械を1832年9月に発表し、特許を取得せずに機械を公的な用途に供した。19世紀に「（数値を）計算する機械」の制御にパンチカード状のものを使うことが構想されたものとして、チャールズ・バベッジの「解析機関」がある。バベッジはジャカード織機をヒントにしたとされている。なお、解析機関は完成しなかった。20世紀にコンピュータ用として多用されたパンチカードそのものの直接の祖先は、19世紀末のアメリカで、ハーマン・ホレリスによるものである。大規模な移民の受け入れにより急激に人口が膨張しつつあったアメリカでは、1880年の国勢調査が1889年になっても集計が完了しないという事態が発生していた（これには、単純な人口の増加だけではなく、集計する項目を増やしたことによる必要な作業量の増大にもよると言われる）。次回の調査を実施する時期に至ってもまだ前回の調査の集計が終わらないというこの困難を、ホレリスは機械の導入により解決することを考察した。当初は鑽孔テープなどを試したが、最終的にパンチカードという形態にたどり着いた。ホレリスが考案した、パンチカードを利用するデータ処理機械であるタビュレーティングマシンは、国勢調査の手作業による集計に比して10倍のスピードを実現したとされる。同時に、1〜9および0の、十進ヒトケタの整数値とアルファベットをパンチカードの穴でエンコードする一種の文字コード（現代の文字コードとは異なり、紙製のカードで利用する前提で設計されている（例えば、全部の桁に穴を開けたりはしない））「ホレリスコード」も考案した。当時は手書きで記録を取り、それを事務所に持ち帰ってパンチカードに転記するという手間を踏んでおり、かつホレリスの集計機自体も1回1回人間が処理の仕方を設定する必要があるなどの欠点があったが、その圧倒的な処理能力は「驚異のテクノロジー」と賞賛され、政府機関だけではなく様々な分野で使用されていくことになる。多数の顧客情報を処理しなければならない保険会社などでも使われた。後に電気式加算機の計算機構を組み込んでかなりの計算ができる機械が登場し、会計処理だけでなく科学技術計算にも使われるようになった。ホレリスは1枚のカードに45項目、1項目につき12種類の選択肢の情報が記録できるような仕様を策定した。このカードはサイズを身近な1ドル紙幣と同一にし、普及のために低額で販売したため、事実上の標準となった。そして1896年にこの事業のためにホレリスが興した「タビュレーティング・マシーンズ社」は、幾度かの統合を経て巨大企業IBMの母体となっていく。ホレリスの仕様は、後にIBMによってカードのサイズは同じままでカードの穴を円形から長方形にすることで80項目に拡張された。この仕様、特に「1行 80項目（桁）」は、FORTRANを筆頭としてその後長く受け継がれていくことになる（後述）。1950年代まで、パンチカードはデータ入力やデータ保管、データ処理の主な手段として使われた（ただし、もっぱら鑽孔紙テープを利用したコンピュータ、あるいはテープを好んだ文化のメーカーもある）。IBMの記録によれば、IBMは1937年にはニューヨーク州エンディコットに32のパンチカード工場を持ち、毎日500万枚から1000万枚のパンチカードを生産していた。パンチカードはアメリカ合衆国連邦政府の小切手や貯蓄債券など法的書類にも使われていた。以上で述べたようなデータ処理機械の歴史に続いて、Harvard Mark I (1940年代) のような数値計算機械もあらわれ、第二次世界大戦の終わった後、急速に（電子式）コンピュータの発展が進み、数値計算とデータ処理の統合といえる、情報処理（information processing）やコンピューティングと言われるようになった（チューリングやノイマンやシャノンらによる数理的な理論の確立、という背景もある）。1950年代、UNIVAC I の入出力装置UNITYPERが新たなデータ入力手段として磁気テープを導入した。1960年代には磁気テープを採用するコンピュータが増えていき、パンチカードから高速で書き換えの効く磁気テープへの移行が徐々に進行した。IBMはすぐにUNIVACを追撃し、1960年代には世界一のコンピュータ企業となった。1965年、Mohawk Data Sciences はキーパンチの代替として直接磁気テープにタイピング内容を記録する磁気テープエンコーダという機器を発売し、ある程度の成功を収めた。それでもパンチカードはデータおよびプログラム入力手段として1980年代中ごろまで使われ続けた。1952年発売のIBM初の商用コンピュータIBM 701や、大ヒットとなったSystem/360のデータ入力の基本は80桁長方形の穴のパンチカードである。またUNIVACなどのコンピュータでは丸穴の90桁のカードが使われた。元々機械的な装置だった時代にアウトラインが決まったものであるため比較的大きく、トランジスタ化などコンピュータの進歩に合わせ小型化したものも試作されたりしているが、既にデファクトスタンダードとして普及してしまったものを置き換えるには至らなかった。またプログラミングなどの際には、穿孔してしまうので現代のテキストエディタのような文字単位の編集は後から一切できないという欠点から、一般に鉛筆などを用いて別の紙、あるいはカードの上辺の間隔が空く位置に書き込んでおき、あとでまとめてパンチしていた（なお、コンピュータ時代のパンチ機械には、穿孔と同時に印字されるといったものも多い）。大規模な組織などでは、プログラマとは別にキーパンチャー（単にパンチャーとも）という専門職によってプログラム用のカードもパンチされるなど分業されていることもあった。パンチカードの利点は、行単位の編集が容易であるということがある。プログラムの1行がパンチカードの1枚になるため、内容を修正したい場合は、修正行に相当するカードを差し替えるだけでよい。また、ブロック単位に移動する場合もカードを入れ替えるだけで済む。これは紙テープでは物理的な切り貼りを行なう必要があることを考えると、非常に効率的と言える。一方で行単位ではない編集は極端に苦手であり、むしろ紙テープの物理的な切り貼りのほうが有利と言える。プログラマによっては、全く同じ内容になるような行が現れるように工夫し、「ソースコードの再利用」を実際のパンチカードの再利用として行っていた者もいた。また、当時ありがちだった事象として、パンチカードの束（デック）を、落とすなどしたはずみでバラバラに散らしてしまい、順序がわからなくなってしまうと並べ直すのが大変、というものがあった。通し番号が打たれているなどすればなんとかなるが、さもなくば入力し直した方が速いなどとも言われた。当時の写真などで、カードデック上部に斜線を引いたりしたものがあるのは、並べ直しを簡単にするための工夫である。1970年代から1980年代にかけて、磁気ディスクや端末が低価格化し、安価なミニコンピュータが普及したため、パンチカードはコンピュータへのデータ入力手段としての役目をほぼ終えた。また、そもそもミニコンピュータはメインフレームとは違う文化圏を形成し、その文化圏では紙テープのほうが好まれた、といった側面もある。それでも、多くの業界標準規格やファイルフォーマットにパンチカードの影響が残っている。パンチカードの代替となった IBM 3270 などの端末は、既存のソフトウェアとの互換性を考慮して一行の表示文字数をパンチカードと同じ80文字とした。グラフィカルユーザインタフェースは可変幅のフォントも表示可能だが、1行80文字を前提としたプログラムは今もある。ごく簡単な読取機が作れる紙テープとは違い、比較するとかなり大袈裟な機構が必要なパンチカードは、1970年代の「マイコン革命」（en:Microcomputer revolution）においては完全に「旧勢力の遺跡」であり、その後のパーソナルコンピュータの誕生と普及によって、絶対数としては大きく減ったわけではないのだが相対的には圧倒的少数となったメインフレームと共に、少数派の存在となった。