Gunnar Stålsett er gift med Unn Stålsett. Sammen har de to barn, prest og professor Sturla J. Stålsett og psykolog og førsteamanuensis Gry Stålsett.