年（1565年），黄廷聘回籍途中，路过湖广衡山县，对知县陈安志傲慢无礼。陈安志怒而开其行李，发现金银财务甚多。廷聘这才惶恐拜求，方得归还。然而此事传到京师，被都察院左都御史张永明揭发，世宗诏命廷聘冠带闲住。
家族.曾祖黄文钺，祖黄琳，父黄大义，母周氏。