入中国共产党。第一次国共内战时期，吕剑人一直在家乡参与领导地方学生运动。1928年3月，曾被中华民国政府逮捕；两个月后获得释放。出狱后，吕剑人担任共青团陕西省委交通主任，参加了刘志丹领导的渭华起义。1929年1月任共青团陕西省委宣传部部长；后被派入杨虎城的部队搞兵运工作，发展秘密党员。1932年4月，他与刘林圃、习仲勋等一起组织发动“两当兵变”，建立了陕甘工农游击队第五支队。兵变失败后，吕剑人再次被捕，被关押在西安绥靖公署军法处，后以“兵变胁从罪”被判刑10年。1936年5月经中共组织营救，获假释出狱；