据《涑水记闻》记载:有军人繁用,其父尝为张氏仆。用幼闻父言:茂实生于宫中,或言先帝之子,于上属为兄。用冀幸恩赏,即为表具言其事,于中衢邀茂实,以表呈之。这个军士叫繁用,他的父亲曾经是张景宗的仆人,对张茂实的出身情况有所了解。繁用告诉张茂实,他是真宗皇帝的儿子,当今皇帝的兄长。当时宋仁宗已经在位三十二年,张茂实以兄长身份取代宋仁宗似乎不太现实。那么,繁用凭什么“冀幸恩赏”呢?因为赵宗实虽然与宋仁宗血缘关系很近(堂侄),但毕竟比不上自己的亲侄子。繁用的本意,大概是企图帮助张茂实恢复皇兄身份,以张茂实的儿子取代赵宗实,自己也能从中捞好处。
这个繁用想必是个大老粗,不知道赵家兄弟子侄之间骨肉相残的历史。但是他的一番“好意”却给张茂实带来无尽的烦恼。张茂实水平不高,但是却知道本分,繁用此举颇有点大逆不道。于是“茂实惧,以用属开封府,”把繁用交给开封府(有关部门)处理。繁用以“妄言”之罪,被杖责、贬往歙州(徽州)编管。张茂实本以为,事情就这样过去了。谁知他的身份问题一直是个敏感话题,此事一出顿时流言四起、人人皆知。朝廷只得把繁用押回京城,派人重新彻查此案。七月,彻查结果出来了:繁用“素病心”(指精神不正常)、一时妄言,将其发配广南(今广西)牢城做苦役;张茂实不将此事上奏朝廷,擅自流配士卒,不适宜担任军队首脑。八月,宋仁宗任命张茂实为宁远军节度使、知潞州,解除了他的兵权。
张茂实在地方官任上小心翼翼、安分守己,一晃就是五年多。嘉祐四年(1059)十一月,宋仁宗将他召回京城复职。但是,朝中的御史、谏官们却抓住不放。