1899年10月2日、群馬県北甘楽郡富岡町（現富岡市）で、養蚕製糸業を営む父・治良と母・かよの長男として生れる。姉・邦子は後に内田市太郎（最終階級は海軍大佐）と結婚している。富岡中学校、横浜一中を経て、1919年10月、海軍兵学校（47期）を卒業し、少尉候補生として練習航海に出発。1920年8月1日、海軍少尉に任官。1925年11月、海軍砲術学校高等科を卒業、「伊勢」分隊長となる。1926年11月、海軍砲術学校教官兼分隊長に任命。1929年4月、島内桓太（海軍少将）の娘・千代と結婚。1930年11月、海軍大学校（甲種28期）を卒業した。12月1日、「日向」副砲長兼分隊長に就任。1931年10月10日、練習艦「浅間」の副砲長兼分隊長に就任。12月1日、少佐に昇進。1932年7月、「赤城」副砲長兼分隊長に就任。11月1日、砲術学校教官に就任。1934年6月、アメリカ駐在となり、アメリカ海軍の大口径砲の命中率、艦船の防御力についての調査研究を行い、1936年6月に帰国。海軍省軍務局調査課、砲術学校教官、第4根拠地隊参謀、砲術学校教官、「古鷹」副長、横須賀鎮守府出仕、呉鎮守府付、「大和」副長などを経て、第3遣支艦隊参謀時の1941年10月、海軍大佐に進級。1941年12月、太平洋戦争が開戦。以後、水上機母艦「秋津洲」艦長、第11航空艦隊兼第8艦隊参謀、軍令部出仕、横須賀砲術学校教頭などを歴任。1943年12月、「利根」艦長となり、マリアナ沖海戦、レイテ沖海戦に参加。1945年1月、横須賀鎮守府参謀副長となり、化兵戦部員兼軍令部員を経て、化学戦部長の時に終戦を迎え、同年11月、予備役に編入された。1946年3月、利根艦長時の捕虜虐殺事件、ビハール号事件により戦犯容疑で拘束された。1947年10月29日に香港法廷で懲役7年の判決を受け、1951年9月まで拘留された。その後は極洋捕鯨に入社し、捕鯨部にて捕鯨砲の開発や後進の育成に尽力した。その教え子の中には、大関朝潮の父親であった長岡友久も居た。先輩の岡村徳長とは個人的に親交があり、戦後もその関係が続いていた。黛は「航空主兵への転換は間違い。戦前の想定どおり、砲撃主体の艦隊決戦を挑むべきであった」と生涯主張し続けた。「日本海軍の遠距離砲撃の命中率は米軍の三倍」とする主張は、戦前に日本の諜報機関が米海軍の砲撃演習結果を入手し、分析した結果に端を発している。
親善人形（しんぜんにんぎょう）とは、文化の面で互いの国及び人物との友好を深め、紛争を回避し、平和を維持することを目的とするべく、友情の証として贈られる人形のこと。友情人形・人形使節とも呼ぶ。交流の形式は国家レベルから草の根運動まで様々である。日本では昭和初期にアメリカとの間に繰り広げられた「青い目の人形」の人形交流を指すことが多い。贈られた人形に対し、相手の国や人物へお礼のために贈る人形は「答礼人形（とうれいにんぎょう）」と呼ばれる。
1959年7月1日、第2代連邦大統領に選出され、9月13日に就任した。本当はアデナウアーは自分の政権延命のためにライバルのルートヴィヒ・エアハルトを実権のない連邦大統領に祭り上げたかったが、拒絶されてリュプケに御鉢が回ってきたのだという。リュプケは1964年に再選され、合計2期10年を務めることになる。彼の在任中、とりわけ2期目には、演説などでの言い間違いや支離滅裂になることがしばしばあった。当時は原稿を見ないで喋ったためだと説明されていたが、のちに分ったことであるがこの頃すでに彼は脳梗塞の症状に侵されていた。当時この不幸に気付く者はおらず、彼の「言い間違い」を報じるためだけに多くのジャーナリストが外遊に同行した。実際にマダガスカル訪問時に夫人と首都の名前を取り違えた程度の間違いはあったとはいえ、たとえばリベリア訪問時に「紳士淑女の皆さん、親愛なるニガー」と言ったという都市伝説さえ生んでいる。ドイツ語で„Gleich geht's los!“（すぐ始まるよ）と言おうとして英語で„Equal goes it loose“と言い間違えたとされるのもこの類である。彼の「失言」は漫談師やマスコミの格好のネタになり、バイエルン放送はリュプケを題材にした漫談の生放送を避けたくらいであった。彼の言い間違いを集めたレコードさえ出ている。1966年の1966 FIFAワールドカップの際、西ドイツとイングランドの決勝戦で、ゴールか否かでもめたイングランドの3点目（結果的に決勝点）を「球は入っていた」と述べ、また叩かれた。さらには、東ドイツのメディアがリュプケを「ナチス強制収容所の現場監督」と呼んでいる、と西ドイツのメディアに報じられた。これはもともと東ドイツの国家保安省が西ドイツの連邦大統領の威信を落とすために仕組んだものであったが、今日の研究者は実際にリュプケが強制収容所と関わりがあったのは否定できないとしている。1968年には雑誌「シュテルン」が、ナチスによって強制労働に従事させられた労働者の収容所の設計図に、リュプケのサインがあると報じた。連邦議会選挙を控えていたこともあり、批判にさらされたリュプケは任期を3か月残して1969年6月に連邦大統領職を辞した。分裂ドイツ問題や独立間もないアフリカ諸国への支援に心を砕いたほか、連邦議会の可決した法案がドイツ連邦共和国基本法に抵触するとして、承認の署名を拒否するほど高い見識を有した連邦大統領としては、不幸な退任であった。連邦大統領は退任後は定職に就くことは許されず、かといって名誉職も健康状態が許さなかったため、リュプケは隠棲して5000冊の蔵書に囲まれ、趣味である比較言語学や微生物学の研究に没頭した。CDUの党友でさえ退任後の彼をほとんど無視したが、唯一の例外は後任の連邦大統領だったグスタフ・ハイネマンだったという。晩年療養のためにカナリア諸島のテネリフェ島で休暇を過ごしたが、健康状態は好転しなかった。やがて言語障害や健忘を起こすようになる。彼は1972年3月30日に胃の出血により手術を受けて進行した胃癌が発見されたが、それは脳にまで転移していたのである。2度の喀血ののち、4月6日に77歳で亡くなった。死後、ケルン大聖堂で国葬を以て送られた。彼は長らく属する宗派がカトリックの唯一の連邦大統領であったが、2010年7月に同じカトリックのクリスティアン・ヴルフが第10代連邦大統領に就任した。