Han var far til Nils Nilsson Skaar (stortingsmann), og bror av Gjermund (stortingsmann) og Johannes Nilsson Skaar (biskop). Skaar og brødrene vokste opp i et haugiansk miljø.