この後、グラフトン公爵内閣が成立し、ついで1770年1月末から長期政権となるノース卿内閣が発足した。ピットはそのどちらにも野党の立場を取った。1770年代の野党にはロッキンガム侯爵派とピット派、その他の「独立派」の議員がいたが、ピットは政党・党派を嫌っていたので、彼の派閥はさほど組織だった物とはならず、組織的なロッキンガム侯爵派より常に少数派であった。また、ピット派とロッキンガム侯爵派は、野党共闘が取れなかった。ピットが州選出議員の増加を訴えた際にも、国王の政治介入に腐敗の原因を求めるロッキンガム侯爵派は賛成しなかった。さらに、1770年6月に、ピットに近い政治家で、議会外改革運動のウォルクス運動とピットの懸け橋となっていたウィリアム・ベックフォードが死去し、これがきっかけでピット派と議会外改革派との繋がりが失われてしまった。1771年春にはピット派とロッキンガム侯爵派の議員が庶民院議場で衝突し、野党共闘の目は無くなった。この野党の分裂状態を背景にノース卿内閣は長期安定政権を維持することになる。アメリカ独立戦争をめぐっては自らが作り上げた植民地帝国の崩壊を恐れ、アメリカ独立に反対した（ロッキンガム侯爵派は賛成であったため、両派の距離は更に広がった）。そのため戦争を遂行するノース卿内閣は1778年3月にピットに政権への協力要請を行ったが、ピットの条件が厳しかったため、この交渉は決裂した。その直後の1778年4月、貴族院議場で植民地維持を訴える演説をしていた際に倒れ、一か月後の5月11日にケント州・ヘイスで死去した。チャタム伯爵位は長男のジョンが継承した。ピットの派閥はシェルバーン伯爵が引き継いだ。
下野後、組閣の大命を受ける1766年7月まで再び野党の立場となったが、1762年から1764年にかけてピットは痛風が悪化して議会に出席することが少なくなった。そのため野党は強力な指導者を欠く状態となり、分裂状態に陥っていた。1762年5月に首相ニューカッスル公爵は辞職し、ビュート伯爵が代わって首相に就任したが、議会政治を危機に陥れて成立したこの内閣は当初より不人気であり、逆にピットはビュート伯爵と対比される形で人気を上昇させた。結局1763年4月にビュート伯爵は辞任し、代わってジョージ・グレンヴィルが首相に就任した。グレンヴィルは庶民院議員であったものの、ビュート伯爵の影響力が強かったのでやはり批判が多い政権となった。ピットに近いジョン・ウィルクスが1763年4月に国王勅語を批判し、それに対してグレンヴィル政権が「一般逮捕状」でウィルクスを逮捕したことにはじまるウィルクス事件もこの時期に発生している。グレンヴィル政権は1765年3月に植民地での歳入増加を目指して印紙法を可決させたが、これはアメリカ植民地人から強い反発を招いた。「本国には植民地に課税する権利がある」というのは当時のイギリス政治家の主流意見であったが、その中にあってピットは当初より植民地への課税に反対だった（結局この印紙税はアメリカ植民地人のイギリス製品ボイコット運動を招いたため、政権交代後に廃止されることになる）。1765年7月にはグレンヴィル内閣が倒れ、ピットと同じくグレンヴィル政権を批判してきた第2代ロッキンガム侯爵チャールズ・ワトソン＝ウェントワース（ニューカッスル公の派閥の継承者）が組閣したが、ピットは同内閣への入閣を拒否した。まもなく政権運営に行き詰ったロッキンガム侯は、1766年1月に再度ピットに協力を要請したが、ピットはこの時も拒否した。
一方でヨーロッパ大陸ではプロイセンの疲労により戦況が好転しなかった。この影響で1760年後半になるとイギリス国内でも厭戦気分が高まった。さらに1760年10月25日にジョージ2世が崩御し、その孫である22歳のジョージ3世が即位した。ジョージ3世は寵臣第3代ビュート伯爵ジョン・ステュアートの影響で七年戦争の早期講和を望んでおり、勝利まで戦争続行を唱えるピットやその影響下のニューカッスル公を嫌い、ビュート伯爵を閣僚に抜擢して彼らを牽制した。またビュート伯爵はスコットランド貴族であり、上下院いずれにも議席も持っていなかったので、彼の大臣就任は議会議員を大臣に任命するという長年の慣行が破られた形であり、その点からも批判があった。1761年8月にフランスとスペインが同盟を締結すると、ピットはスペインにも宣戦布告すべきことを訴えたが、国王とビュート伯爵はそれに反対した。首相ニューカッスル公も財政が持たないことと国民の厭戦気分が高まっている事を理由にスペインとの開戦には反対した。孤立したピットは1761年10月に辞職した。この時のピットの怒りは激しく「2度と公人として働きたくない」と吐き捨てたという。しかしこの後もピットは庶民院への巨大な影響力を有し続けた。この後の5年に渡る政局混乱はピットの予測不能な行動によるところが大きかったといわれる。
浅井氏家臣・海北綱親の五男として生まれる（三男説もあり）。天文4年（1535年）2歳で父が戦死したのを切っ掛けに禅門に入り、京の東福寺で喝食として修行。このときに狩野派を学んだらしい。師匠は狩野元信とも狩野永徳ともいわれているがはっきりしない。天正元年（1573年）に浅井氏が滅亡し兄達も討ち死にしたのち、還俗し海北家の再興をめざしたが、豊臣秀吉に画才を認められたことから武門を去り、晩年は画業に専念した。その画は宋元画、特に梁楷の影響を受け鋭く力のこもった描線と省略の多い画法（減筆法）によって独自の画境を開いた。作品は大画面の水墨画が多いが、金碧濃彩の屏風絵もある。八条宮智仁親王や亀井茲矩、もともと東福寺の退耕庵主だった安国寺恵瓊と親しかった。また、交流のあった斎藤利三（明智光秀の重臣）を謀反人でありながら手厚く葬り（磔にされていた利三の遺体を友松が槍を振って侵入して奪い取ったともいわれる）、後に息子の友雪は、利三の娘である春日局から褒賞を受けている。墓所は京都府京都市左京区浄土寺真如町の真正極楽寺（真如堂）。友松夫妻の墓の横に斎藤利三の墓がある。友松の作品は年記が乏しいため編年が困難である。ただし、署名の特に「友」字の変化と「友松」印の違いが僅かな手がかりとなる。はじめ「友」字が角張っていたのが次第に丸みを帯び、やがて第1画が直立し上へ長く突き出すと同時に、第3,4画も小さな円状になっていく。また「友松」朱文方印は、真四角な印と右辺が弧を描いて外側に張り出す印の2種類あり、前者のほうが先に使用されたと推測される。