Brynjolf Baardson giftet seg med Kirsten Margrethe Baardson (1929–1996), og er far til teaterregissør Bentein Baardson. Sønnen har i et kapittel av boken (2024), redigert av Nanna Segelcke, formidlet hvordan farens krigsopplevelser preget både hans og familiens liv i etterkrigstiden.