Аспасия родилась в Афинах, была дочерью полковника Петроса Маноса (1871—1918) и его первой жены, Марии Аргиропулос (1874—1930). Семья Манос вела своё происхождение, в частности, от греков-фанариотов, живших в Константинополе. Некоторые из её предков были важными военными фигурами в период греческой Войны за независимость, некоторые были лидерами греческих общин в Константинополе на протяжении веков господства Османской империи, а некоторые были даже правившими князьями в дунайских провинциях империи. Она принадлежала к одной из самых аристократических семей Греции и считалась подходящей супругой для греческого царя многими, но не теми, кто считал, что король может жениться только на женщине королевской крови.