Han er tidligere samboer med kunstshøgskole-rektor Cecilie Broch Knudsen, og de fikk tre døtre, bl.a. kunsthistorikeren Nora Ceciliedatter Nerdrum og Oda Broch. Nora Nerdrum fortalte i NRK om en lite tilstedeværende far som forsvant ut av livet hennes da hun var barn, at hun ikke hadde sett ham på 20 år og at barna hennes da aldri hadde møtt morfaren. Hun sa også at hun ikke deler hans kunstsyn eller politiske oppfatninger, og at hun har et analytisk forhold til hans virke.