1807年11月17日、ハーディはルイザ・エミリー・アンナと結婚して、3人の娘を儲けた。長女ルイザ・ジョージアナは1808年12月7日生まれ、1875年に死去した。次女エミリー・ジョージアナ1809年12月30日生まれ、1805年ウィリアム・ポレット・ブラウン・チャテリスと結婚した。1887年に死去。そして3女メアリー・シャーロットは1813年3月20日に生まれ、1833年ジョン・アソール・ムレイ＝マクレガーと結婚して、1896年に死去した。
1825年5月27日、少将に昇進し、3等艦ウェルズリーが旗艦となった。4000人のイギリス部隊を連れてリスボンに行き、1826年12月、当時8歳の女王のおじによる革命の鎮圧を支援した。その後英仏海峡で、実験的な戦隊の指揮官となり、5等艦シビルから6等艦ピラマスに旗艦を移して、1827年10月21日最後の上陸をした。ハーディは1830年11月、グレイ内閣のもとで第一海軍卿となった。そして1831年9月13日にバス勲章を授与された。ハーディは国会議員出馬を拒否した最初の第一海軍卿であり、一方で蒸気船の導入を奨励した。 1834年に第一海軍卿を辞任してグリニッジ病院の総裁となり、1837年1月10日には中将に昇進した。1839年9月20日、グリニッジで死去、遺体は病院内の廟所に埋葬された、ここはその後旧王立海軍大学となった。準男爵の位は、死去に伴い断絶した。
1805年10月21日、「ヴィクトリー」が敵の防御線に近づき、ハーディはネルソンに、必ずや起こるであろう混乱を避けるために、ネルソンに他の艦に移るように促した。しかしネルソンは拒否した。「ヴィクトリー」は風上に戦列を率いて、トラファルガーの海戦の第一章である激しい砲撃を浴びた。とある局面で、艦の破片がハーディの靴のバックルをはがしたが、ネルソンはそれを見てこう言った。「これはかなりの激戦だな、長くは続かんぞ」ネルソンが砲撃された時ハーディは一緒にいたが、戦闘が終わりに近づき、ネルソンが瀕死の床に横たわっている時、この両者は共に多くの会話を交わした。ハーディはネルソンに、14隻ないしは15隻のイギリス艦が敵を打ち負かしたことを伝えた、ネルソンはこれにこう答えた。「20隻は敵を敗れたはずだが」彼らの最後の会話では、ハーディに艦隊に投錨するよう注意した。続けてネルソンはこうも言った、「わが愛するハミルトン夫人、ハーディ、あの気の毒な夫人の面倒を見てくれ。キスしてくれ、ハーディ」そして最後の言葉が「君に神のご加護があらんことを」「ヴィクトリー」はジブラルタルに曳航され、1805年10月28日にジブラルタルに入港して、大がかりな修理に入り、11月4日にイギリスに向けて出港して、12月5日にポーツマスに戻った。そこでネルソンの遺体は、シアネスの長官ジョージ・グレイのヨットに乗せられ、グリニッジへと運ばれた。ハーディはネルソンの葬礼で、彼の将官旗の1枚を持って進んだ。
1802年7月、ハーディは、5等艦アンフィオンの艦長としてリスボンに新任の大使を送り、その後ポーツマスに戻った。ポーツマスにはネルソンがいた。というのも、ネルソンは1803年に「ヴィクトリー」を旗艦としたが、まだ「ヴィクトリー」の準備が十分でないことがわかり、「アンフィオン」を旗艦として地中海に赴いたのである。1803年7月31日、ネルソンとハーディは最終的にトゥーロン沖で「ヴィクトリー」へと移動した。ハーディはただネルソンのフラッグキャプテンであるだけではなく、ネルソン艦隊の非公式な指揮官でもあった。ネルソン艦隊は、1805年の4月までトゥーロンの封鎖を続けたが、その時フランス海軍は逃走して西インド諸島まで追跡され、戻ってきた。8月20日から9月14日までの短い活動停止期間の後、カディスに向けて出港し、1805年9月29日に到着した。
行基や忍性の墓所で知られる文殊山竹林寺の境内にある小規模な前方後円墳である。築造年代は出土した円筒埴輪の特徴から、古墳時代前期後半の4世紀中頃と比定される。前方部先端と後円部の一部が失われ、後円部は墳頂に通じる小道が通り、掘削による損傷が生じている。その他の部分は雑木林に覆われ、開墾による削平を受けておらず、原型を比較的よく留める。生駒山から東に延びる丘陵の斜面に築造され、尾根筋に平行して主軸を東西に向ける。現存している墳丘の全長は45メートルで、後円部の規模から、築造当初の全長は60メートル前後と推定される。後円部径は約30メートルで、南すそから墳頂までの高さは8メートルである。斜面に築造され高低差があるため、墳丘南側のみ二段築成となっている。後円部斜面と前方部の一部では人頭大からこぶし大の葺石が敷かれていた。1981年の測量調査では、後円部の南すそに5メートル四方ほどの高まりが認められた。これは調査時の報告では陪塚との見解であったが、現在では墳丘の造り出し部と考えられている。埋葬主体部は後円部中央の主軸上に造られた竪穴式石室で、粘土棺床の上に割竹形木棺が安置されていたとみられる。1939年に発掘調査が行われたが、大きく撹乱を受けた後であったため、出土した遺物は若干にとどまる。主な出土遺物は、内行花文鏡、石釧、刀剣身の鉄片、鉄釘、円筒埴輪、家型埴輪である。経筒破片と思われる青銅製品も出土しているが、後世に墳丘上に造られた経塚の遺物が発掘時に混在したものである。