Gullvåg er far til danseren, skuespilleren og TV-programlederen Kjersti Lid Gullvåg. Han er gift med skuespiller og pedagog Tone Lid Gullvåg.