他替次子史奕昂谋求甘肃布政使之职。胡中藻案爆发，鄂昌被赐自尽，贻直被勒令还乡，两年后又召回，加太子太傅。干隆二十五年（1760年），干隆帝以贻直成进士已六十年，赐诗，奖为“人瑞”。二十七年乞致仕。干隆二十八年（1763年）五月十四日病卒，年八十二，赠太保，谥文靖，祀贤良祠。
着作.撰有《工部则例》50卷、《工部续增则例》95卷，主修《陕西通志》100卷。
纪念.其墓位于溧阳夏庄村，占地13500平方公尺。为江苏省文物保护单位。