Byl potomkem staré skotské rodiny Elphinstone, narodil se na zámku Stirling Castle. Pocházel z početné rodiny Charlese Elphinstone, 10. barona Elphinstone (1711–1781), a jeho manželky Clementine Flemingové (1719–1799), z dvanácti dětí byl pátým synem. Po vzoru dvou starších bratrů vstoupil do královského námořnictva (1761) a pod velením Johna Jervise se zúčastnil závěru sedmileté války. Později podnikl plavbu do Indie ve službách Východoindické společnosti (1767). V roce 1775 byl povýšen na kapitána a vynikl v závěru války proti USA. V letech 1781–1790 byl poslancem Dolní sněmovny, patřil ke straně whigů. V dobách míru zastával také čestné hodnosti ve Skotsku a mimo jiné působil i u dvora, byl pokladníkem a finančním inspektorem domácnosti vévody z Clarence. Za válek s revoluční Francií vstoupil znovu do aktivní služby a pod velením Samuela Hooda se vyznamenal při dobytí Toulonu, v roce 1794 dosáhl hodnosti kontradmirála, téhož roku obdržel Řád lázně.