正月因陕西巡抚刘蓉查前总督熙麟、京堂李云麟等案，被参革职，永不叙用，后因军功撤销永不叙用处分。八月病休回京。同治九年（1870年）主讲金台书院，培养诸多尖子学生，包括同治十三年（1874年）甲戌科状元陆润庠，光绪二年（1876年）丙子恩科榜眼王赓荣、探花冯文蔚、传胪吴树梅，光绪三年（1877年）丁丑科状元王仁堪、探花朱赓飏。光绪四年十二月十一日（1879年1月3日）北京去世。
着作.《时晴斋诗赋全集》，《十三经音义字辨》。后人编钞《椒云日记》、《张集馨日记》、《张集馨自