Johan Andreas Lippestad var sønn av skolemannen Johan Anton Lippestad (1844–1913) og brorsønn av pleiehjemspedagogen Emma Hjorth. Han var søskenbarn til skolemannen Carl Thorvald Lippestad som var oldefar til forsvarsadvokaten Geir Lippestad.