Аспасія народилася в Афінах, була дочкою полковника Петроса Маноса (1871—1918) і його першої дружини, Марії Аргіропулос (1874—1930). Сім'я Манос вела своє походження, зокрема, від греків-фанаріотів, що жили в Константинополі. Деякі з її предків були важливими військовими фігурами в період грецької Війни за незалежність, деякі були лідерами грецьких громад в Константинополі протягом столітніх панувань Османської імперії, а деякі були навіть правившими князями в дунайських провінціях імперії. Вона належала до однієї з найбільш аристократичних сімей Греції і багатьма вважалася підходящою дружиною для грецького царя, але не тими, хто вважав, що король може одружитися тільки на жінці королівської крові.