Według niepotwierdzonych ostatecznie informacji jego ojciec miał na imię Mendel, a matka Ruchla. Rodzina Kestenbergów utrzymywała się z handlu. Około 1904 r. Kestenberg rozpoczął naukę w jesziwie, prawdopodobnie działającej w jednym z miasteczek Lubelszczyzny. Pod wpływem wydarzeń Rewolucji 1905-1907 zainteresował się ideami lewicowymi oraz Haskalą. Na wieść o tym ojciec zmusił go do przerwania nauki i powrotu do domu.