进士入翰林，因契丹语称翰林为林牙，耶律大石又被称为大石林牙或林牙大石。后历任泰州、祥州刺史，辽兴军节度使。历经200多年统治的辽朝国力逐渐走向衰弱，取而代之的是女真族建立的金朝。在金军势如破竹的攻击下，辽朝节节败退。1122年，金军攻克辽中京大定府和泽州，辽天祚帝如惊弓之鸟，从居庸关至鸳鸯泺（今河北省张北县安固里淖）到白水泺（今内蒙古自治区乌兰察布市察右前旗黄旗海），再到女古底仓，一路仓皇逃跑至夹山（今内蒙古自治区武川县附近）。数日后，宰相李处温与南京（今北京市西南）都统萧干、耶律大石等拥立秦晋国王耶律