Hindmarsh es va unir a la Royal Navy en 1793 servint en l'HMS Bellerophon, que figuren en el cens reunir com el servent del seu pare. Va entrar en acció en la Batalla del Gloriós Primer de juny, en la batalla de la Badia d'Algesires i en la Batalla del Nil en 1798, on va ser breument l'únic oficial a la coberta de l'HMS Bellerophon on va donar les ordres que van salvar la nau de la destrucció. Hindmarsh va ser ascendit a tinent el 1803. Va servir al HMS Phoebe en la batalla de Trafalgar, a la batalla de l'illa d'Aix (1809) a bord del HMS Beagle i en la batalla de Java al HMS Nisus. Després d'un període d'inactivitat el 1830 estava al comandament del HMS Scylla i fou ascendit a contraalmirall el 1831. El 1836 va ser destina a Austràlia Meridional com el seu primer governador després de guanya suports influents del Colonial Office.