孔子子孙世代居住于孔庙附近。宋朝宝元元年（1038年）始建孔府，后又称衍圣公府，在明朝洪武十年（1377年）、弘治十六年（1503年）及嘉靖年间（1522年-1566年），孔府得到政府支持，得以重建或扩建。文革时遭红卫兵严重破坏。现在孔府占地16公顷，有463个房间。