Dirck Stoffel Langestraet immigrerte til den nederlandske kolonien Ny-Nederland i 1657, men de ble angliserte i løpet av de neste generasjonene. James' far var imponert over sin sønns «klippelignende» karakter på den landlige plantasjen, noe som gav ham kallenavnet Peter, og han var kjent som Pete eller Old Pete resten av livet.