Egil A. Wyller var sønn av Trygve Wyller og bror til Thomas Christian Wyller. Han vokste opp i Stavanger. Faren ble -fange i forskjellige konsentrasjonsleirer i Tyskland under andre verdenskrig, og broren Thomas Christian satt på Grini. Dette er omtalt i den selvbiografiske boken (1995).