Tau ble født i Beuthen i Schlesien i Tyskland, der faren Nathan Tau var forretningsmann. Han var av jødisk herkomst og vokste opp i et miljø sterkt preget av det han kalte den tysk-jødiske symbiose, som var påvirket av den jødiske opplysningsbevegelsen Haskalá.