耶律楚材在金章宗明昌元年六月二十日(1190年7月24日)生于燕京(今北京),他出身契丹贵族家庭,是辽太祖耶律阿保机的九世孙、东丹王耶律倍八世孙、金朝尚书右丞耶律履之子。耶律楚材是在他的父亲花甲之年出生的,其父曾经说过:“吾年六十而得此子,吾家千里驹也,他日必成伟器且当为异国用。”父亲用《春秋左氏传》中的“虽楚有材,晋实用之”的典故,给儿子起名为“楚材”,耶律楚材身材高大,满面胡须,成吉思汗称呼他为:吾图撒合里,意为“长髯人”。明昌二年(1191年)六月,耶律履去世,耶律楚材时年两岁(另有明昌元年及明昌三年去世之说),随母杨氏定居义州弘政(今锦州义县),受到母亲全面的教育,十二岁时入闾山显州书院,十三岁时学习诗书。自耶律楚材的祖父起他们家世代仕于金朝,常居燕京。当时燕京有深厚的汉文化的基础,这使得耶律氏世代受到汉文化熏陶,形成了读书知礼的家风。耶律楚材从小就受到了儒家思想的熏陶,他的理想是按照儒家的学说来治理天下。