Texas annexation
だが南部の利益を追求したタイラー政権において唯一の北部出身者であったスペンサーは、タイラーの下で務めることを徐々に困難に思うようになっていった。そしてタイラー大統領がテキサス併合を打ち出すとスペンサーはそれに反対の意思を表明し、1844年に財務長官を辞任した。