Spaeth var industrieier i Dayton, og kunstsamler. Anthony Bailey vokste opp med hans kunst rundt seg; i samlingen inngikk det malerier av blant annet Cezanne, Paul Gauguin og Edward Hopper. Bailey vendte i 1944 tilbake til sin familie. Han gikk på forskjellige i Haphshire og gjorde verneplikten i British Army i britisk Vestafrika. Fra 1952 studerte han historie på Merton College ved Oxford University. I 1955 dro han med støtte fra Spaeth til New York City og livnærte seg for en tid med leilighetsarbeide.