Territory of Orleans
Bereits im Jahr 1803 zog die Familie von Kentucky in das damalige Mississippi-Territorium. Im Jahr 1811 erfolgte ein weiterer Umzug auf die Oaklawn-Plantage, St. Mary Parish im damaligen Orleans-Territorium, aus dem dann der Staat Louisiana entstand. Joshua wurde zu Hause unterrichtet. Zwischen 1817 und 1819 absolvierte er die United States Military Academy in West Point. Bis 1821 blieb er als Leutnant in der Armee. Nach einem folgenden Jurastudium wurde er im Jahr 1822 als Rechtsanwalt zugelassen. Danach war er mit einer Unterbrechung zwischen 1822 und 1838 in einer Kanzlei in Opelousas in Louisiana als Anwalt tätig. Zwischen 1826 und 1829 war er Mitglied der Miliz von Louisiana.