公时还年幼，孔继涑以及他的兄长孔继汾便代理孔府事务。干隆二十一年（1756年）正月，孔昭焕因奏请将孔府庙户改为民籍，而被认为有干预地方事务之嫌，干隆帝因此命吏部严加论处。之后，孔昭焕获加恩仍得以保留公爵之位，而孔继汾、孔继涑由于被认为是干预事务者，被革去贡生身分作为处罚。由于孔继涑获罪受罚，因此他也被孔氏家族开除宗籍。关于其被逐出家族有民间传说，包括「紫微星变暗」、「念咒语发旁支」之说：当时观天象，代表皇帝的紫微星变暗而旁边有一颗星格外明亮；这被诠释成其对应在山东的孔继涑可以取而代之。查抄孔继涑府邸十二