Geboren als Sohn eines Rabbiners besuchte Victor Stern von 1891 bis 1904 die Volksschule und das Gymnasium. Danach ging er nach Wien, wo er bis 1908 studierte und das Studium mit der Promotion zum Dr. phil beendete. Schon zu Beginn seines Studiums trat Stern dabei der Sozialdemokratischen Partei Österreichs bei. Innerhalb dieser konnte er sich vor allem für den Austromarxismus begeistern, eine Strömung, die ab 1904 unter Führung von Otto Bauer in der österreichischen Sozialdemokratie immer mehr an Einfluss gewann. Nach seinem Studium verdiente sich Stern zunächst sein Geld als Privatmittelschullehrer für Mathematik, Physik, Logik und Psychologie. Während des Ersten Weltkriegs war Stern Kriegsteilnehmer, im Verlaufe des Krieges als Offizier. Nach Kriegsende verschlug es ihn nach Berlin, wo er 1919 in die USPD eintrat, bevor er 1920 zur KPD wechselte. Stern nahm 1920/21 an den Ruhrkämpfen teil und wurde daraufhin wegen linker politischer Pressearbeit als Österreicher ausgewiesen.