Harald Kolstad var barnebarn av statsminister Peder Kolstad. Han var den yngste av fem søsken.