Breitbart var gift med Susannah Bean, datter av skuespiller Orson Bean og stedatter av skuespiller Alley Mills, og hadde fire barn.