陈世乔、教师甘思藻、吴千晋等都是共产党员，胡耀邦因此开始吸收共产主义。他每天读书来回需要20公里崎岖山路，这段艰苦历程也使他保持健步疾走的习惯直至晚年。在高小时期，胡耀邦更是连年以第一名成绩升学，并担任学堂的少年先锋队队长兼宣传组长；不久他的表兄杨世俊（杨勇）也转入里仁学堂。
第一次国共内战时期.1927年，国共第一次合作失败，马日事变后，里仁学堂被查封，陈世乔、吴千晋等人被国民党当局逮捕并杀害。8月7日，中国共产党因此召集紧急会议（八七会议），决定土地革命和武装暴动方针；并派毛泽