После приход национал-социалистов к власти Штернберг подвергается двойной опасности — как марксист и как еврей. После поджога Рейхстага вынужден перейти на нелегальное положение и 12 мая 1933 года под видом спортсмена-горнолыжника через Исполиновы горы перешёл в Чехословакию, откуда в дальнейшем перебрался в Базель. Там он жил в течение трёх лет на полулегальном положении, испытывая серьёзные финансовые трудности, при этом старался помогать членам СРПГ, нелегально иммигрировавших в Швейцарию из южных областей нацистской Германии. В конце августа — начале сентября 1933 года во французском местечке Руайян Штернберг неоднократно встречался со Львом Троцким по поводу создания экономической платформы для Четвёртого Интернационала, однако при обсуждении конкретных вопросов возникли непреодолимые разногласия. Весной 1936 года Штернберга высылают из Швейцарии и он переезжает в Париж, где располагалось руководство СРПГ в изгнании. Изредка принимал участие в Кружке Лютеция — попытке создания Народного фронта из различных немецких эмигрантских политических организаций. Вплоть до 1939 года Штернберг один из главных авторов эмигрантских изданий Социалистической рабочей партии Германии — «Die Marxistische Tribüne» и «Die Neue Front — Organ für proletarisch-revolutionäre Sammlung», а также в ряде других газет и журналов, включая «Neuen Weltbühne» и даже буржуазные «St. Galler Tagblatt» и «Economist».