被免官。后灵符复为寻阳王刘子房的右军长史，兼会稽太守。景和元年（465年），孔灵符得罪了宋前废帝的近臣，被该近臣进谗言中伤，废帝就派人将灵符鞭杀。宋明帝即位后，追赠灵符为金紫光禄大夫。南朝宋一朝，官位显达的江南士族人物中，只有孔季恭、孔灵符父子、顾琛及丘渊之四位，仍保持他们的江南本土语言和口音。