Han var andre sønn og ett av fem barn til Alexander Wolff. Hans forfedre kan ha kommet til Preussen fra England, eller de kan ha vært i Schönlanke i mange generasjoner, fra tider da stedet var polsk. Han ble undervist i Talmud fra han var syv år gammel, og fra han var 16 til han ble tyve år, underviste han både i Talmud-kunnskap og i det tyske språk.