Josef Rosenblatt var tiende barn (og første sønn) av en jødisk familie i den ukrainske shtetl Belaja Tserkov. Fra sin far, som var kantor i Kiev, lærte han seg å lese noter. I den videre slektskrets var de betydende kantorene Jerucham ha-Koton (1798–1891) og Nissan Spivak (også kalt Nissi Belzer, 1824–1906). Også to av hans onkler var kantorer.