清水商業高校卒業後、1959年に広島カープへ入団。同期には後に阪急ブレーブスでもコーチとして同僚となる上田利治らがいた。選手の給料もままならない弱小・広島において、1年目から39試合に登板して9勝を挙げ主戦投手となる。2年目の1960年にスライダーを覚えてリーグ2位の26勝をあげ、衰えの見えた長谷川良平に替わりエースにのし上がる。1961年27勝、1962年20勝と3年連続20勝を打ち立て、さらに3年連続で200奪三振を記録する一方で、100を越える四死球を与え3年連続最多与四死球も記録している。なおこの間、1960年と1962年にオールスターゲームに出場。1963年に10勝を挙げたが22敗を記録してセ・リーグでは秋山登以来となる連続リーグ最多敗戦投手になる等やや落ち込むが、1964年は17勝、防御率2.92（10位）と復活し、3度目のオールスターに選ばれている。その後は右肘を痛めて勝ち星を伸ばせず、1965年以降はわずか4勝に終わる。1966年オフに大洋ホエールズから大石獲得の申し出があり、広島側は交換相手として長田幸雄を要求するものの決裂。大石の低迷により投手補強を目論んでいた広島は阪急ブレーブスの大石弥太郎に目を付け、"大石清⇔大石弥太郎" の「大石交換」が成立した。1967年頃の阪急投手陣には足立光宏、米田哲也、梶本隆夫ら10年選手が先発陣に腰をすえていたこともあり、大石はリリーフに転向して復活する。この年、42試合に救援登板し、5勝、防御率2.59を記録、移籍1年目ながらチーム創設32年目の初優勝に貢献した。その後、阪急は3年連続優勝を遂げ黄金時代を迎えるが、大石も毎年40試合以上に救援登板して、交代完了数も20試合前後に及び、1968年には4年ぶりに10勝を挙げている。0勝に終わった1970年限りで現役引退。引退後、指導者としての素質が開花。阪急（1972年 - 1973年二軍投手コーチ, 1974年一軍投手コーチ）、近鉄（1975年 - 1976年, 1999年一軍投手コーチ）、古巣・広島（1977年一軍投手コーチ, 1978年 - 1981年二軍投手コーチ）、日本ハム（1985年 - 1987年, 1995年 - 1997年一軍投手コーチ）、阪神（1988年 - 1989年, 1993年 - 1994年二軍投手コーチ、1990年 - 1992年一軍投手コーチ）と30年間で5球団を渡り歩く。広島コーチ時代には川口和久・金石昭人を送り出し、阪神コーチ時代には湯舟敏郎・中込伸・猪俣隆・葛西稔・野田浩司・仲田幸司・田村勤・弓長起浩を育て、球界屈指の投手王国を作り上げた。日本ハムコーチ時代には岩本勉・今関勝・島崎毅・関根裕之・高橋憲幸を育てたが、武田一浩と対立して二軍へ追っ払ったあげく、武田の昇格要請をことごとく拒否したこともあった。近鉄時代にも佐野慈紀とソリが合わず、一軍投手陣も火の車でチームも最下位だったため二年契約だったものの一年で退団。退団会見の際に発した発言「自分が退団して一番喜んでるのは佐野だろう」について、佐野自身が後年語っている。阪急・広島で2度優勝を経験する（広島コーチ時代の1979年・1980年には日本一も経験）。リーグ優勝ではないものの、近鉄コーチ時代の1975年にはパ・リーグ後期優勝にも関わる。コーチ業の間を縫う形でTBS・中国放送解説者、スポーツニッポン評論家（1982年 - 1984年, 1998年）も務めた。
東京府北豊島郡谷中村（現在の日暮里付近）にて、逓信省簡易保険局の下級官吏の家庭に双生児の兄として生まれる。関東大震災のため1923年から東京府荏原郡駒沢村字弦巻（東京都世田谷区世田谷1丁目）に育つ。駒沢小学校3年修了後、1932年、父が浅草合羽橋通りで蕎麦屋「小松庵」を始めたため、一家で東京市浅草区芝崎町（東京都台東区西浅草）に転居し、4年次から金竜小学校に転校。1935年、東京府立第三商業学校入学。同校では国語教諭佐藤義美の薫陶を受ける。1940年、同校卒業後、横浜正金銀行に入行して帳面つけを担当するも、勤務時間中に『新潮』を読んでいたため上司に激しく叱責され、1週間で無断退職。研数学館での浪人生活を経て、1941年、東京外国語学校仏語科入学。1943年、徴兵検査に際して海軍を志望し、武山海兵団に入隊（東京外国語学校は1944年に繰上卒業）。横須賀市久里浜の通信学校で訓練を受けた後、埼玉県大和田の通信隊にて英米の暗号通信の傍受と分析に携わる。敗戦後は闇屋勤務を経て、1946年東京帝国大学入学。1949年東京大学文学部仏文科卒。卒論はパスカルだった。東大卒業後は、東京日本橋の大阪商事という証券株式会社の調査部で企業の業績に関する記事の執筆を担当。2年後、名古屋支店への転勤を命じられたのを機に退社。1951年11月、朝日新聞社に入社し校閲部に勤務。朝日には25年間勤務したが、文化大革命の全盛期に「毛沢東語録」という表記を「毛主席語録」に直すよう命じられて「毛沢東語録でなぜいけないのだ」と非常に不愉快な思いをするなど、同社の編集方針には違和感を持つことが多かったという。「論説顧問になぜ加藤周一などを起用するのか」と編集局長に詰め寄ったところ、「あの人はすごく外国語ができるそうだよ」と言われ、呆れて物が言えなかったこともあると述べている。戦前から中桐雅夫主催の『ル・バル』Le Bal に参加し、1951年、田村隆一、鮎川信夫らと『荒地』を創刊、同人となる。1966年、第一詩集『北村太郎詩集』を上梓、1976年11月まで朝日東京本社で校閲部長、調査部長を歴任して退社。退社のきっかけとなったのは、社内の人間関係の軋轢で自らの管理者能力の欠如を痛感したことと、田村隆一の妻との恋愛が妻に発覚したことであるという（後に妻とは家庭内離婚に至った）。同年、詩集「眠りの祈り」で無限賞、1983年、『犬の時代』で芸術選奨文部大臣賞、1985年、『笑いの時代』で藤村記念歴程賞受賞、1989年、『港の人』で読売文学賞受賞。また、英米のミステリー、サスペンスを初めとする小説などを数多く翻訳した。1992年10月26日、腎不全のため虎の門病院で死去。なお、田村の妻との関係をめぐるトラブルは、後にねじめ正一による長編小説『荒地の恋』のモチーフとなった。2016年にWOWOWで放映された同作のテレビドラマ版では、豊川悦司が演じている（ただし、名前は北沢太郎に変更されている）。