Ask van der Hagen er opprinnelig oppvokst på Tjøme sammen med sin tvillingbror Lars van der Hagen, hvor familien har et gammelt pensjonat som nå er konsert- og kulturhuset Gamle Ormelet. I første klasse flyttet han til Oslo.