James Stockdale ble født i Abingdon i Illinois som sønn av Mabel Edith (født Bond) og Vernon Beard Stockdale. Etter et kort opphold ved Monmouth College begynte han ved United States Naval Academy i Annapolis i Maryland. Sommeren 1946 ble han uteksaminert sammen med 1947-kullet som følge av skolens ordning fra den andre verdenskrig.