Narodil se jako mladší syn Josepha Hardyho, jeho rodištěm byl venkovský zámek "Kingston Russell", který patřil rodině Mastermanů, z níž pocházela matka. Do královského námořnictva vstoupil v roce 1781, ale po roce 1782 absolvoval na pevnině středoškolské vzdělání. Znovu u námořnictva sloužil od roku 1790, během francouzských revolučních válek bojoval ve Středomoří a v roce 1796 byl již poručíkem. Zúčastnil se bitvy u mysu sv. Vincenta, v této době již patřil k nejbližším spolupracovníkům admirála Nelsona. V roce 1798 dosáhl hodnosti kapitána, s Nelsonem se zúčastnil tažení do Egypta a bitvy na Nilu. V letech 1799–1800 pobýval v Anglii, poté operoval v Baltském moři, ale kvůli poškozené lodi se nemohl zúčastnit bitvy u Kodaně (1801). S Nelsonem pronásledoval francouzskou flotilu do Karibiku, po návratu do Středomoří vedl blokádu Toulonu. Měl významnou účast na bitvě u Trafalgaru a byl osobně přítomen Nelsonově hrdinské smrti. V lednu 1806 se zúčastnil Nelsonova pohřbu v Londýně a krátce poté byl povýšen na baroneta. Od roku 1806 sloužil v Kanadě, kde se oženil s Anne Berkeley (1786–1877), dcerou svého nadřízeného admirála G. C. Berkeleye. Spolu s tchánem později sloužil u břehů Portugalska a v roce 1811 byl jmenován komodorem portugalského námořnictva. V letech 1812–1814 bojoval ve válce proti USA a po návratu do Anglie získal Řád lázně (1815).