因家贫辍学，之后返回小学教书谋生。1921年，在舅父的资助下，考入汾阳教会学校铭义中学，或获得学校津贴得以维系生活。次年洗礼为基督教徒。之后因学习优秀，考入燕京大学史学系，因陈垣教授在《史学名着选读》中提及二十四史中唯独辽史研究甚少，冯家昇决定钻研辽史、金史，并旁习满文、蒙古文，并加入了共青团。1932年毕业获得学士学位，同年9月获得哈佛燕京学社奖学金，进入燕京大学研究生院，师从顾颉刚，从事契丹研究，1934年毕业，之后任教于燕京大学、北京大学、东北大学等校，担任历史系任讲师、北平研究院史学研究会名誉编