アイザック・シェルビー
1796年3月7日、ケンタッキー州知事アイザック・シェルビーが、マディソンを公会計監査官に指名した。マディソンはこの職を20年間務めており、一度もそれ以上高い役職を求めることはなかったが、歴史家のルイス・コリンズは「人々が与えるものの中で、少しの懇願も無ければ彼が容易に得られるような役職は無かった」と述べている。1800年、フランクリン郡のケンタッキー神学校理事になった。1806年12月5日、大陪審を務め、アーロン・バーを反逆罪で告発することを拒否した。この年後半で、ケンタッキー銀行の取締役に指名された。