戌时，幼年丧父。祖父孔彦缙在代宗景泰六年（1455年）去世后，八岁的孔弘绪袭封六十一代衍圣公。英宗复辟后，弘绪入贺，时年十岁，进止有仪，英宗“握其手，置膝上，语良久”，大悦。英宗听说弘绪的住所狭小，便给他换了另一所大宅。孔弘绪少年得厚遇，又恃岳父是大学士李贤，所为多“过举”，滥杀无辜。宪宗成化五年（1469年）因宫室踰制，被南京科道所弹劾，夺爵废为庶人，令其弟孔弘泰袭。之后孔弘泰多次提出要还爵，孔弘绪以自己的儿子尚未长成没有答应。孝宗弘治十一年（1498年），地方官员上报弘绪已「迁善改行」，命复