Waldemar Brøgger var sønn av arkeologen Anton Wilhelm Brøgger, bror til forfatteren og oversetteren Niels Christian Brøgger og far til antropologiprofessoren og skribenten Jan Brøgger. Han var gift tre ganger. Forfatter og skuespiller Margit Lindegård var hans andre kone.