Espen Tharaldsen er sønn av ingeniør Nils Fredrik Tharaldsen og Margot Ada Bryn, som var steinerskolelærer og eurytmist. Han gikk på steinerskolen i tyskerbrakkene på Smestad med Jo Sandvik som klasselærer. Han var gymnasiast på Ris skole i Oslo, hvor han som 16-åring stiftet Ris Skoles Riksmålsforening sammen med Erling Lae. Fra 1966 til 1967 seilte han jorden rundt som pikkolo på MS Bergensfjord. I 1974 avla han diplomeksamen ved Arkitekthøgskolen i Oslo (AHO) med Sverre Fehn som veileder. Fra 1974 til 1975 studerte han eurytmi i Wien.