ノウ・ナッシング
クリフォードは州知事を1期1年のみ務めた後、弁護士として働くことを好み、再選を求めて出馬しないことにした。その後継者であるエモリー・ウォシュバーンが再度クリフォードを検事総長に指名したので、1854年から1858年まで務めることになった。この任期中にはノウ・ナッシング党の州知事ヘンリー・J・ガードナーの政権である時期もあった。ガードナーはノウ・ナッシングの出現以前は政治的にホイッグ党支持者であり、クリフォードを検事総長に据えたままにした。この二人はノウ・ナッシングの反移民法や極端な改革提案の幾つかについて対立した。ガードナーの就任中（1855年-1858年）、マサチューセッツ州憲法が改定されたので、検事総長は指名職ではなく選挙で選ばれる職に変わった。1858年の選挙ではクリフォードの後任としてスティーブン・ヘンリー・フィリップスが当選した。