小鲁再度回到北京探视父亲陈毅，两天后陈毅病逝。在部队，陈小鲁历任战士、排长、连指导员直到三十九军三四四团政治处主任。1972年，辽宁海城地震，他率部救灾并立功受奖。1975年“批邓、反击右倾翻案风”时，陈小鲁坚持不说违心的话，但是当时的沈阳军区政治委员毛远新仍然执行“左倾”的政策，陈小鲁乃决定申请调动。1976年5月，陈小鲁给沈阳军区打报告，提出调职的要求，随后他被调离沈阳军区。同年进入南京中国人民解放军外国语学院学习。
改革开放后.自解放军外国语学院毕业后，1979年被分配到中国