向陈小鲁，谣言说陈小鲁杀了人或者携款潜逃，甚至一则“炸中南海”的传闻也牵扯到他。后来，周恩来送他到中国人民解放军陆军第三十九军锻炼，要他不对外联系。后来正式入伍。此后三年，陈小鲁年年被评为“五好战士”，抗洪抢险立三等功。1970年3月8日，陈小鲁加入中国共产党。1971年，陈小鲁回到北京探视身患癌症的父亲陈毅。1972年1月4日，陈小鲁再度回到北京探视父亲陈毅，两天后陈毅病逝。在部队，陈小鲁历任战士、排长、连指导员直到三十九军三四四团政治处主任。1972年，辽宁海城地震，他率部救灾并立功受奖。1975年“批