幼年吐字困难、有些结巴，但非常聪明且活泼。1920年，他被胡祖伦送至胡氏家族的种桃书屋读书。1922年，胡祖仪的新式学堂创议获得通过，改为兴文小学，胡耀邦和堂兄胡耀清因此住转入新学。1926年，胡耀邦在读完初小后，到文家市的里仁学堂读高小，学堂校长陈世乔、教师甘思藻、吴千晋等都是共产党员，胡耀邦因此开始吸收共产主义。他每天读书来回需要20公里崎岖山路，这段艰苦历程也使他保持健步疾走的习惯直至晚年。在高小时期，胡耀邦更是连年以第一名成绩升学，并担任学堂的少年先锋队队长兼宣传组长；不久他的表兄杨世俊（杨勇）