1793 befehligte er im Krieg gegen Frankreich bei der Einnahme von Toulon unter Samuel Hood ein Linienschiff. 1794 wurde er zum Konteradmiral befördert und eroberte 1795 das Kapland, segelte weiter nach Indien, wo er Ceylon nahm. Auf dem Rückmarsch zwang er im August 1796 ein niederländisches Geschwader zur Kapitulation in der Saldanhabucht. Während der großen Flottenmeuterei von 1797 gelang es Elphinstone als Oberkommandierendem, sowohl auf dem Nore als auch später in Plymouth die Ordnung wiederherzustellen. Von 1796 bis 1801 war er auch Abgeordneter im House of Commons für den schottischen Wahlkreis Stirlingshire.