Han var gift med Cecilie Hanssen (1857–1919), som kom fra en kjent handelsfamilie i Ålesund. Hennes foreldre var konsul, reder og fiskeeksportør Frederik Hanssen og hustru Birgitte Marie, født Devold. Ole Andreas Devold var hennes morbror. Ivar Waldemar og Cecilie Brøgger fikk åtte barn. Eldstesønnen Kristian Fredrik Brøgger ble advokat og ordfører i Ålesund, som sin far.