Han har to barn fra hans første ekteskap med Karla James; datteren Chandler og sønnen Jesse James Jr. Han har også datteren Sunny James fra sitt andre ekteskap med pornoskuespilleren Janine Lindemulder. 16. juli 2005 giftet han seg for tredje gang, med skuespilleren Sandra Bullock. Hun skilte seg fra ham i 2010 da det ble kjent at han hadde vært utro.