自前往上海，考入上海艺术大学中国文学系，与组织失去联系，被中共陕西省委开除了党籍。1928年底，他因贫困而辍学，到山东临沂投奔杨虎城。此后，他历任杨虎城随从副官、少校随从秘书、十七路军办公厅机要科科长。1932年，十七路军警备第三旅二团一营内的中共党员习仲勋、吕剑人、许天洁等人发动甘肃两当兵变失败，吕剑人、许天洁被捕，并被十七路军军法处判处死刑。王菊人说服杨虎城将判决改为有期徒刑，使二人保住了性命。1936年西安事变期间，他任杨虎城机要秘书兼十七路军总指挥部政治处副处长，抗日联军临时西北军事委员会政治设计委