En 1822, Polk anunció su retiro de su puesto como secretario para concurrir a las elecciones para la legislatura del estado de Tennessee en 1823, que ganó al derrotar a William Yancey, llegando así a ser representante del condado de Maury.