麻起义后，郑维山参加童子团，后调入赤卫队。1930年1月加入中国共产党。1930年6月，参加中国工农红军第一军第一师。1933年12月，18岁的郑维山任红九军二十七师政治委员。后任红三十军（军政委李先念）八十八师政委。西路军失败后，只身讨饭回到延安，和李先念等一起入抗大学习。1938年春，从抗大毕业，分配到晋察冀军区军政干校任军事教员。讲射击、投弹还是刺杀等课程。特别是射击原理课，生动而又深刻，使得没有文化的学员也能听懂、掌握。军政干校校长孙毅给郑维山配了警卫员和马，还力荐当副校长，向晋察冀军区司令员兼