宫室踰制，被南京科道所弹劾，夺爵废为庶人，令其弟孔弘泰袭。之后孔弘泰多次提出要还爵，孔弘绪以自己的儿子尚未长成没有答应。孝宗弘治十一年（1498年），地方官员上报弘绪已「迁善改行」，命复冠带。弘治十六年（1503年）孔弘泰去世，朝廷以孔弘绪长子孔闻韶承袭衍圣公。孔闻韶返家之时，孔弘绪将诏书、麟服、玉带、金币等摆出，告诫儿子：「此吾祖之泽，圣天子之赐也，汝慎守之。」弘治十七年（1504年）二月初一寅时，孔弘绪去世，享年五十七岁；朝廷遣官致祭。孔弘绪之墓位于孔林西部明代墓区中部偏南地段。清朝时为避干