保障，财务状况也很正常。由于肯塔基州宪法禁止州长连任，所以谢尔比在1796年卸任后回到了林肯县的故居。接下来的15年时间里，他专心务农，并连续6次成为总统选举人，不过除此以外，他都没有出现在公众视野中。
第二个州长任期.加布里埃尔·斯劳特（）是1812年肯塔基州州长选举的热门人选，只有一个潜在对手。这时美国、法国和大英帝国的关系日益紧张，随时有可能爆发战争。考虑到这样的局势，开始有流言称艾萨克·谢尔比有可能成为州长候选人。斯劳特的家离谢尔比很近，他亲自登门拜访，询问老州长是否会参选