之后因病辞任寺社奉行，后于文化7年（1810年）再任。文化14年（1817年），从宽政改革期起已经过了26年仍留在幕阁中的老中首座松平信明病危，将军德川家齐开始密谋改造幕阁。先是将亲信水野忠成从侧用人兼务提拔为老中，接着将正精从寺社奉行跳过大坂城代和京都所司代直接拔擢为老中。这是因为家齐厌恶严苛的宽政改革，而正精对于保守派来说不会造成障碍。实际上，在正精任老中期间，政治贿赂空前横行。正精任老中期间的功绩，有划定了江户的区域范围等。文政6年（1823年），正精因病辞任老中，同9年（1826年）藩主在任