En 1778, nommé "Rear Admiral of the Red", il reçoit le commandement de la base de Gibraltar. La même année, Duff devient vice admiral, et participe au siège de Gibraltar en 1779 où il s'oppose au chef d'escadre espagnol Dom Antoine Barcelo. Il prend sa retraite en 1780, et mourut à Queensferry le .