祖耶律阿保机第三子，生母皇后述律平。同母兄弟三人耶律倍、耶律德光、耶律李胡，述律皇后最疼爱李胡；但耶律阿保机对其评价不如耶律倍和耶律德光。《辽史‧章肃皇帝李胡传》记载其「少勇悍多力，而性残酷，小怒辄黥人面，或投水火中」。二哥太宗耶律德光亲征在外，京师上京常常由耶律李胡留守。930年，耶律德光以耶律李胡为皇太弟兼天下兵马大元帅。947年，耶律德光过世后，耶律倍的儿子耶律阮自立为帝。在上京（今内蒙古巴林左旗）的述律太后派耶律李胡在南京北部的泰德泉交战，大败。经过大臣耶律屋质的劝阻，太后才同意耶律阮当皇帝。耶