人远迁荒郡，物资皆缺且要再适应环境，很难实行，建议提供一些支援给他们作推动，并奖赏努力工作的人，惩罚怠惰者。光禄勋王昇之亦同意先建好基础再讨论迁徙。但孝武帝却全都不听，顺从灵符的建议，最终人民去到后都能安居乐业。后灵符调任会稽太守，不久又获加豫章王刘子尚的抚军长史。本已家业丰厚的灵符在永兴县（今浙江萧山）新建别墅，依山带水，更有九片果园，方圆达三十三里，遂被有关部门弹劾，虽然孝武帝下令原谅，但灵符终因应对不当而被免官。后灵符复为寻阳王刘子房的右军长史，兼会稽太守。景和元年（465年），孔灵符得罪了宋