Lorentzen kom fra en familie av shippingfolk, og var sønnesønn av Jørgen Johan Lorentzen og sønn av Axel B. Lorentzen (se Lorentzen (slekt fra Skottland)). I 1945 begynte James Stove Lorentzen å jobbe i familieselskapet Lorentzen & Co., og etter farens død i 1952 tok han over som partner i selskapet. Da dette selskapet ble splittet opp i 1959 kom James Stove Lorentzen sammen med Jørgen Lorentzen og Otto Grieg Tidemand til å videreføre virksomheten i selskapet Lorentzen Chartering. Fra 1962 ble også familiens redervirksomhet splittet opp, og de tidligere Lorentzens Rederi og Belships Co. ble tatt over av Jørgen og James Stove Lorentzen og drevet videre som en del av Stove Shipping.