Pertenecía a una familia judía de habla alemana de alto poder adquisitivo, en parte por la fortuna heredada de su abuelo paterno, quien fue incorporado a la nobleza tras contribuir económicamente en la creación de un regimiento bávaro para luchar contra Napoleón I en 1813, y en parte por el trabajo de su padre, Josef von Hirsch, quien se desempeñaba como banquero del rey; es por esto que, en 1869, fue nombrado "Barón".