Adam Spiegel ble født i Rockville, Maryland. Han vokste opp både i Bethesda, Maryland og Gulph Mills, Pennsylvania. Faren Arthur Spiegel III er barnebarn av grunnleggeren av Spiegel postordrefirma og medlem av den velstående Spiegel-familien. Firmaet hadde på en omsetning på rundt 3 milliarder dollar årlig.