鄞县史家读书。不久之后，史浩之子史弥远又聘请余天任之兄余天锡担任史家的家庭教师。余家遂与史家结成世交。嘉定十六年（1223年），余天锡登进士第，仕至参知政事，封太师、赠奉化郡公。而余天任于宝庆二年（1226年）入仕，官至兵部尚书。余天任之子余晦，曾拜元帅，也出任兵部尚书，总管蜀地军务。余家故有“一门三尚书”之谓。