ヒューゴは、軍隊時代の仲間たちとの夕食会の帰り、仲間であるジェイミーの車を運転していて一人の女性をはねてしまう。彼の上司であるピーターは通報しようとするジェイミーを車の中に戻し、彼等だけの秘密とした。同時期、ヒューゴは妻ジニーが彼女の仕事上のパートナーであるラウルと浮気をしているという妄想を抱き、ジニーに恐怖を与えたていた。警察が捜査を進める中、ジェイミーはヒューゴが人を撥ねたのは通行人をジニーと誤認したと考えるようになり、彼の恋人にしてヒューゴの妹であるレベッカにそれを告白する。その結果、警察はヒューゴに疑惑の目を向けるが、周囲の人々はジェイミーを犯人に仕立て、最終的には死に追いやった。
1754年3月6日、59歳で首相在職中に死去。後任の首相に兄が就任したが、議会を強力に掌握していたペラムを失った後の政界は混迷の度を深めていくことになる。そもそもウォルポール後のホイッグ党の団結力は極めて弱くなっており、それでも政党としてまとまっていられたのは、ペラムの個人的政治技能、とりわけ党員調整能力のおかげだった。そのためペラムの死後にはホイッグ党はもはやいくつかのコネクションの緩やかな連合体にすぎなくなってしまったのである（ホイッグがそのような状態にもかかわらず政権維持できたのは、トーリー党が依然弱体だったことと宮廷がホイッグ党に依存していたためである）。
ペラムの政治手法は、キャンペーンを張って政敵を駆逐したウォルポールに対して、野党勢力にも一定の官職を配分し、庶民院に広い支持をとりつけたという点で異なっている。強力な政敵の不在によって、ペラムは死に至るまで第一大蔵卿の地位を守ることができた。しかし一方で、戦争を極力回避し、国庫の安定と減税をめざすという路線はウォルポールと軌を一にしていた。1748年には両陣営痛み分けといった感のあるアーヘンの和約を締結してオーストリア継承戦争を終結させた。当初からこの和平は一時しのぎにしかならないと言われたが、これによって戦時経済に苦しんでいたイギリスは一息つくことができた。ペラムはこれを機にさっそく海軍を縮小して歳出を抑えるとともに土地税の税率の引き下げを行った。また国債の統合を進めて国債利子率を下げた。1751年3月には反ペラム派の領袖的な皇太子フレデリック・ルイスが薨去し、さらに6月には閣内で兄ニューカッスル公と対立を深めていた第4代ベッドフォード公爵ジョン・ラッセルを辞職に追いやることに成功し、ペラム兄弟の権勢は絶頂に達した。同年にはジン法（Gin Act）」を制定した。当時のイギリスの下層庶民は風刺画家ウィリアム・ホガースらにも描かれているようにジンに溺れる悲惨な生活をしており、それを抑制する狙いがあった。1753年にはユダヤ人の帰化を容易にする法律を制定したが、当時の反ユダヤ主義は激しく、世論の凄まじい反発が巻き起こったのでペラムは次の議会で早々に同法を廃止している。同年、初代ハードウィック伯爵フィリップ・ヨークの起草による結婚法を制定した。婚姻制度や手続きを整備・徹底したものであるが、これによって上流階級と庶民の結婚や未成年者の秘密結婚が難しくなり、貴族階級は閉鎖的になった。しかし18世紀イギリスの議会政治は事実上ジェントルマンと貴族による寡頭政治であって、この体制を安定させるには有益な施策であった。
騎手課程修了後の1975年に騎手免許を取得し、二本柳厩舎所属でデビュー。初年度は4勝に終わったが、2年目から徐々に勝利数を増やしていく。1980年、厩舎所属馬ホウヨウボーイに騎乗して日経賞を制し、重賞初勝利を挙げる。同年末には同馬で有馬記念も制し、八大競走初制覇も果たした。同年、騎乗技術賞を初受賞。以後もホウヨウボーイで天皇賞（秋）、シャダイアイバーで優駿牝馬（オークス）、アンバーシャダイで天皇賞（春）などを次々と制した。この頃には「加藤は強い馬に乗っているから大レースに勝てている。運がいいだけ」という評もあったが、野平祐二はこの評価に異を唱え、最初から強い馬に乗っていたのならともかく、調教と実戦の積み重ねで馬を鍛錬する二本柳厩舎の特色に加藤の努力も寄与しているはずだと反論した。さらにその騎乗ぶりを評して「彼の騎手としての資質の良さは一に判断力にすぐれていること」「精神的なしたたかさ、渋太さは並のものではありません」とも述べている。また、馬主の西山茂行はこの頃の加藤を評して「かけねなく超一流の腕をもっていた」としている。1985年の日本ダービーではシリウスシンボリに騎乗、それまでに紆余曲折があったが、1番人気に応えて優勝を果たした（#シリウスシンボリの騒動）。1989年、二本柳厩舎を離れ、フリーとなる。以後勝利数が30勝前後で安定、1993年のエリザベス女王杯では、ホクトベガに騎乗して二冠牝馬ベガ等を退け、馬場鉄志による「ベガはベガでもホクトベガ」の実況で知られる波乱を起こした。以後も毎年重賞を制し、1999年にはワールドクリークで地方競馬の統一GI競走・東京大賞典に優勝した。2000年代以降は成績が下降線を辿る。2003年に息子・士津八の騎手デビューで親子騎手となったが、2年後の2005年に調教師免許を取得し、同年に騎手を引退した。通算6536戦610勝（うちJRA6476戦604勝）。競馬通信記者の加藤栄は、厩舎所属時代の加藤は二本柳の方針から他厩舎の馬に騎乗することが極端に少なく、フリーとなって以後は騎乗馬を集める営業力に欠けたと指摘し、「腕の割に勝利数が少ない」と評している。