Josef Breuers far Leopold Breuer underviste i religion for Wiens jødiske samfunn. Breuers mor Berta døde mens han var ganske ung. Hans far underviste ham frem til åtte års alder. I 1868 giftet seg med Matilda Altmann. De fikk fem barn.