Hindmarsh s-a înrolat în Royal Navy în 1793 și a efectuat serviciul pe HMS "Bellerophon", fiind angajat, potrivit registrului navei, ca servant pentru tatăl său. A participat astfel la A treia bătălie de la Ushant, la Bătălia de la Algeciras și la Bătălia navală de la Abukir din 1798, când a fost singurul ofițer de pe puntea lui HMS "Bellerophon" și a dat ordine care au salvat nava de la distrugere. Hindmarsh a fost înaintat la gradul de locotenent în anul 1803. A servit apoi pe HMS "Phoebe" (1795) în Bătălia de la Trafalgar, pe HMS "Beagle" (1804) în Bătălia de la Insula d'Aix (1809) și pe HMS "Nisus" (1810) în bătălia din insula Java. A avut apoi o perioadă de repaus, iar în anul 1830 se afla la comanda HMS "Scylla" (1809). În 1836 Hindmarsh a plecat în sudul Australiei ca primul guvernator al provinciei, după ce a câștigat sprijin și a făcut o cerere la Oficiul pentru Colonii.