Pfitzner ble født i Moskva, fordi hans far spilte fiolin der i et teaterorkester. Familien vendte tilbake til farens fødeby Frankfurt am Main i 1872 da Pfitzner var to år gammel.