Harry Ivarson var sønn av skuespillerne William Ivarson og Anna Ivarson. De fikk foruten Harry barna Wictor (1893) og Borghild (1895). I 1910 bodde familien i Årstad.