Under den andre verdenskrig tjenestegjorde Ashley i US Army som korporal i Stillehavet med Theater of Operations. Etter krigen ble uteksaminert Ashley i 1948 fra Yale University. Mens Ashley gikk ved Yale University ble han medlem av det lukkede brorskapet Skull and Bones, sammen med blant andre den fremtidige presidenten i USA, George H.W. Bush.