James wurde etwa 1776 in Sleaford geboren und trat später in die United States Navy ein, wo er auf verschiedenen Schiffen Dienst versah, einschließlich der Fregatte USS Constellation. Während des Amerikanisch-Tripolitanischen Krieges wurde die Fregatte USS Philadelphia von Piraten der Berberküste gekapert, als sie sich vor Tripoli auf einer Untiefe festfuhr.