余为扩建宫室，曾破坏孔子之宅，却听到了钟磬琴瑟奏乐的声音，就不敢拆除了，于壁中得到孔子后裔所藏的竹简，乃用古蝌蚪文所写的《论语》、《尚书》、《礼经》、《孝经》等，是为「古文经」。孔子子孙世代居住于孔庙附近。宋朝宝元元年（1038年）始建孔府，后又称衍圣公府，在明朝洪武十年（1377年）、弘治十六年（1503年）及嘉靖年间（1522年-1566年），孔府得到政府支持，得以重建或扩建。文革时遭红卫兵严重破坏。现在孔府占地16公顷，有463个房间。