Był synem dyrektora Brytyjskiej Kompanii Wschodnioindyjskiej Williama Fullertona Elphinstone’a. Urodził się w Szkocji. W 1804 wstąpił do British Army w stopniu porucznika i brał udział w walkach na Półwyspie Iberyjskim. W 1813 r. został dowódcą 33 pułku piechoty w stopniu podpułkownika. Dowodził tym pułkiem w bitwie pod Waterloo. Za postawę na polu bitwy otrzymał Order Łaźni, holenderski Order Wojskowy Wilhelma oraz rosyjski Order Świętej Anny. W 1825 otrzymał stopień pułkownika. Był również adiutantem króla Jerzego IV.