Fue llamado de vuelta a Inglaterra por sus problemas personales y la decepción que causó su conducta profesional, pero el conocimiento público de sus relaciones con lady Hamilton acabó haciendo que el Almirantazgo lo devolviese al mar para que se mantuviera alejado de ella.