家族は敬虔なハシディズムで、ヨーゼフはシナゴーグで少年合唱団に参加し、その当時から頭角を表し、ソプラノ歌手フェリシティ・レルヒェンフェルトの下に声楽を学び、1925年からはワイセンボーンの発明者であり、ディートリヒ・フィッシャー＝ディースカウの師であるヘルマン・ヴァイセンボルンに師事した。