首相を追われたことを受けてシュミットは1984年に党副党首を辞任し、1987年を最後に連邦議会からも去った。それまでSPD出身の連邦首相は彼を含めて3人いたが、党首を経験したことがないのはシュミットだけである。これはブラントという抗いがたい偉大な存在がいたことによる。1983年、シュミットはドイツ随一の高級オピニオン紙である週刊新聞『ディー・ツァイト』の共同編集者に就任し、1985年にはその経営代表責任者となった。1983年には福田赳夫と共に協調行動評議会 (de:InterAction Councils) にも参加している。1986年12月にはEMCを支援しヨーロッパ中央銀行の創設を側面から援助するための委員会の創設にもかかわった。そのほか多数の財団や基金の顧問といった名誉職に名を連ねている。防衛、民主主義、グローバリゼーション、中国の台頭、自伝など様々な分野で多数の著書がある。シュミットは1987年の連邦議会議員引退後も政治については活発な発言を続けている。現在のSPDの政策と反対にトルコの欧州連合加盟には真っ向から反対し、しばしば『ディー・ツァイト』にその理由を書いた論文を寄稿している。その関連において、「多文化共生社会は、インテリの幻想に過ぎない」と一蹴。また同盟90/緑の党との連立政権だったSPDのゲアハルト・シュレーダー政権が決定した原子力発電所の全廃にも懐疑的な目を向けており、「いわゆる地球温暖化に関するヒステリー」と批判している。また第二次世界大戦で国防軍の行った戦争犯罪を取り上げた「国防軍の犯罪展」については「危険な極左」と激しく非難。その政治的主張は単純な右翼・左翼の分類には当てはまらない。
1953年、連邦議会選挙にハンブルク選挙区から初出馬して当選。1958年にSPDの州代表メンバーの一員に選ばれ、核兵器撲滅キャンペーンや連邦軍削減などのキャンペーンに参加。1958年から1961年まで、欧州議会議員を兼任。1961年12月、ハンブルク州政府の内務相になり、連邦議会議員を辞任。内相就任間もない1962年2月16・17日の北海大洪水では、憲法違反の懸念を恐れずにドイツ連邦軍の出動を要請して被害の拡大を防いだ彼の指導力が高く評価され、その名は広く知られるようになった。1965年に連邦議会に再出馬して当選、すぐに議会幹事会の一員となり、1967年にはSPD連邦議会院内総務の座に就き、1968年には副党首になった。1967 - 1969年には党議員団の外交・全ドイツ問題政策調査委員会会長を兼務。彼の言によれば、院内総務の仕事がその政治家人生でもっとも楽しいものだったという。1969年10月22日、SPDと自由民主党 (FDP) の連立でヴィリー・ブラント政権が成立、シュミットは国防大臣として初入閣。その在任中に兵役義務が18か月から15か月に短縮され、またハンブルクとミュンヘンに連邦国防大学が設立された。1972年7月にブラントに抗議して辞任したハンブルク市職員時代の上司、シラーを継いで経済・財務相に就任（11月まで）。同年12月から1974年3月まで財務相。なお財務相として「トライラテラル・コミッション」（日米欧三極委員会）の委員でもあり、ビルダーバーグ会議に参加して1973年5月の原油価格400%値上げ決定にも関わっている。
ナンシー出身。両親はどちらも技術者で、当初はシェフェール自身もその道を志しているかに思われた。エコール・ポリテクニークに学び、1934年よりストラスブールで電信技師としての割り当て任務に就いた後、1936年にパリでフランス国営放送に就職する。ここで録音された音による実験にとりかかり、ラジオ放送局の管理は録音装置が自由に使えることだと悟る。1935年から1943年までナディア・ブーランジェにプライベートで師事したのち、1944年に世界初のラジオ技術実験スタジオを開設。再生音のスピードを遅くしたり速めたりして、別の音とつなぎ合わせてみようとしたが、このような技術は当時は実際にまだ知られていなかった。こうした実験の結果として最初に完成された作品が、スプリンクラーや汽車の音から創り出された5つの小品集「エチュード」（1948年）であった。その頃までにシェフェールは、芸術集団「若きフランス Jeune France 」を設立して、音楽のほかに演劇や視覚芸術にも関心を抱くようになった。1942年に「ステュディオ・デセー Studio d'Essai 」（後に「クラブ・デセー Club d'Essai 」として有名になる）を共同設立する。これは第二次世界大戦中のレジスタンス運動に拠点になるとともに、その後の音楽活動の中心となった。1949年にシェフェールはピエール・アンリと出会い、二人で「ミュージック・コンクレート研究グループ Groupe de Recherche de Musique Concrète 」を結成し、1951年にフランス国営放送から公的な承認を得るとともに、テープレコーダーつきの新しいスタジオを設立してもらう。それまでターンテーブルを用いて創作していたシェフェールにとって、これは重大な発展となった。引き続きの実験によってシェフェールは、1952年に著書『具体音楽の探究について A la recherche d'une musique concrète 』を上梓、これはそれまでの創作の方法論の総括であった。シェフェールは1953年に「具体音楽研究集団」を離れるが、リュック・フェラーリやフランソワ＝ベルナール・マーシュとともに、それを音楽研究グループへと改組する。1960年に「フランス国立放送研究部 Service de Recherche de l'ORTF 」を設立して部長におさまると、シェフェールの作曲活動は低調になり、音響の研究と教育を好むようになった。最後の創作は1959年にさかのぼる《 Etudes aux Objets 》であった。新しい職務においてシェフェールは物体の音波の特性の研究活動を指揮し続けて、1966年に重要な著書『 Traité des objets musicaux 』を発行する。同書においてシェフェールは、音を出すすべての物体を分類しようと試みて、それぞれの特徴ごとに7つのカテゴリー（音塊、強弱、和音・音色、大小、抑揚、旋律の輪郭、音塊の輪郭）に分けている。この大著の英訳がカリフォルニア大学出版局から発売された。スペイン語訳はAlianza Editorial Saから発売された。シェフェールは数々の教職に就いており、なかでもパリ音楽院で1968年から准教授として電子音楽を指導した。入門書から専門書まで幅広く、多くの著書を1990年まで執筆していた。最晩年にはアルツハイマー症を患っている。エクサンプロヴァンスにて逝去。85歳の誕生日を四日前に迎えたばかりだった。