Geir Lippestad er oldebarn av Carl Thorvald Lippestad, bror til skolemannen Johan Anton Lippestad. Han er gift, har fire egne barn og fire stebarn. Hans datter Rebekka døde i 2013.