Né dans le shtetel de Bialikamin (Biliy Kamin ou Biały Kamień) en royaume de Galicie et de Lodomérie, en Autriche-Hongrie) au sein d'une famille hassidique de renom, il se met à publier des poèmes très jeune. Il effectue son service militaire dans l'armée austro-hongroise de 1915 à 1917 avant de déserter et retourner à Lviv. Témoin des pogroms en novembre 1918, perpétrés par l'armée polonaise, Greenberg en est profondément marqué.