Stern wurde 1897 als Sohn eines jüdischen Landwirts in der damals zu Österreich-Ungarn gehörenden Bukowina geboren. Nachdem er von 1903 an die deutsche Volksschule besucht hatte, ging er von 1907 bis 1915 auf das Staats-Gymnasiums in Czernowitz. Danach wurde er zur österreichisch-ungarischen Armee eingezogen, aus welcher er 1918 im Range eines Fähnrichs desertierte, da er eine führende Rolle beim revolutionären Aufstand im k.u.k. 113. Regiment innehatte. Stern begann ein Studium der Philosophie an der Universität Czernowitz, welches er jedoch wegen illegaler politischer Tätigkeit für die KP der Bukowina abbrechen musste. Er war im Februar 1919 einer der Mitbegründer der KP der Bukowina und bis 1924 Parteiorganisator in deren ZK. 1924 floh Stern nach Wien und wurde Mitglied der KPÖ. In deren Auftrag arbeitete er bis 1927 als Redakteur bei der Presseabteilung der sowjetischen Botschaft in Wien und fungierte als Verbindungsmann zur Komintern. In diese Zeit fällt auch seine Verpflichtung als Informant für den sowjetischen Militärgeheimdienst GRU, für den er bis 1939 inoffiziell tätig war. Wie sein Bruder Leo nahm Wolf Stern auch an der Julirevolte 1927 und am Österreichischen Bürgerkrieg 1934 teil.