Позже, в 1771−1780 был в отставке, служил губернатором Гринвичского морского госпиталя. В 1778 году стал адмиралом белой эскадры. После отставки Кеппеля в 1779 году никто кроме Харди не соглашался принять командование в Канале. Наконец, в мае 1780 года после долгой отставки Харди принял флот. На следующий же день он слёг с воспалением внутренностей. Франко-испанская эскадра превосходила англичан, но атаковать и высадиться в Англии не решилась.