仅读半年便退学，1931年到航务局当俄语翻译。1931年九一八事变后，舒群一家从一面坡迁居哈尔滨道外十六道街。年迈的父亲在街头摆烟摊，难以维持生活，家人几乎沦为乞丐。舒群却自动辞掉了月薪60元的翻译工作，参加了曾任哈尔滨一中军事教官的车凌云领导的抗日义勇军。1932年3月，加入第三国际中国组织，出任洮南情报站站长，以《哈尔滨五日画报》分销处的名义从事情报活动。同年8月加入中国共产党。在任第三国际洮南情报站站长期间，他用笔名“黑人”发表了许多有爱国思想的诗歌、散文。1933年他还参加了金剑啸组织的“星星剧