Berggrav var gift med Kathrine Seip, datter av presten Jens Lauritz Arup Seip. Kathrine Seip var søster til Didrik Arup Seip og Hans Seip. Han var far til senere departementsråd ved Statsministerens kontor Dag Berggrav. Eivind Berggrav og Didrik Arup Seip var nære venner.