孔继之玩博塞没有节制，常常雇佣他人去祭祀，怠慢和废弃了对孔子的祭祀，刘宋元嘉八年（431年），有关部门将此事上奏，朝廷剥夺了孔继之的奉圣亭侯爵位。后世孔子世家谱，没有孔继之，孔继涑分析说，可能是北魏孔灵珍被封为崇圣侯之后，尊自己的四代祖先孔抚、孔懿、孔鲜、孔乘为嫡裔，而正史记载的东晋南朝所封的数人，子孙不嗣，家乘失传。