Han vokste opp som odelsgutt på storgården Tveiter i Asker. Faren, Bent Holtsmark, var også ordfører i bygda. To av Bernts brødre, Torger og William Holtsmark, ble også politikere. Søsteren Laura var konsertpianist og gift med grossist og kommunepolitiker Tollef Bredal. Mosteren Laura var gift til storgården Blakstad i Asker. Stortingsmennene Finn og Wilhelm Blakstad og industribyggeren Ragnvald Blakstad var Bernts søskenbarn.