Joshua war Mitglied des konservativen Flügels der Demokratischen Partei. Er widersetzte sich aber der 1861 vollzogenen Sezession Louisianas von der Union. Nach der Besetzung weiterer Gebiete dieses Staates durch die Truppen der Union, entschied sich Baker mit diesen zusammenzuarbeiten. Nachdem er einen Treueeid auf die Union abgelegt hatte, wurde er am 8. Januar 1868 vom Militärkommandeur in Louisiana, General Winfield Scott Hancock, zum Nachfolger des zurückgetretenen Gouverneurs Benjamin Flanders ernannt. Auch Baker konnte sich im politisch unruhigen Louisiana nicht lange halten. Er unterstützte die Rekonstruktionspolitik des Präsidenten Andrew Johnson. Im März 1868 wurde er wegen Eidbruchs verhaftet, weil er sich weigerte, eine Barrikade über den Bayou Teche zu errichten. Dann entließ General Hancock neun Stadträte in New Orleans. Diese Entscheidung wurde von General Ulysses S. Grant annulliert, woraufhin Hancock um seine Versetzung bat, die ihm auch bewilligt wurde. Am 27. Juni 1868 wurde auch Gouverneur Baker entlassen. In einer außerordentlichen Gouverneurswahl wurde dann Henry C. Warmoth zu seinem Nachfolger gewählt.