Han vokste opp i et arbeiderhjem i Norra Ängby, i ett av de typiske selveierhusene i Bromma. Han gikk ut folkskolen som femtenåring, var elektriker i fem år og gikk siden på Teaterhögskolan i Göteborg. Han har to barn. Datteren Agnes, som også er skuespillerinne, ble født da Hirdwall var nesten 50 år.