Родился в семье раввина. В 1891—1904 годах учился в народной школе и гимназии. Учился в Вене, вступил в Социал-демократическую партию Австрии и увлёкся австромарксизмом, течением, которое с 1904 года под руководством Отто Бауэра приобретало в рядах австрийской социал-демократии всё большее влияние. Окончив обучение, Штерн зарабатывал на жизнь частными уроками математики, физики, логики и психологии. Участвовал в Первой мировой войне, начав солдатом и закончив офицером. По окончании войны оказался в Берлине, где в 1919 году вступил в Независимую социал-демократическую партию Германии, затем в 1920 году — в Коммунистическую партию Германии. В 1920—1921 годах принимал участие в Рурском восстании и впоследствии как австриец был выслан из Германии за работу в левой прессе.