尔莫尔也受到拖累。他对移民没有好脸色，觉得竞选失利都是拜“外国天主教徒”所赐，克莱在总统大选中同样落败。菲尔莫尔的传记作者芬克曼认为，传主竞选州长失利的主要原因是对移民不够友好，对奴隶制又不够强硬。1846年，菲尔莫尔协助建立水牛城大学（今纽约州立大学水牛城分校）并当上首任校监直至1874年去世。他反对吞并德克萨斯及随后的美墨战争，认为此举不过是想把奴隶制扩展到更多地区。波尔克总统否决有利水牛城的河流与港口法案，菲尔莫尔深感愤怒，称：“人民肯定是不会保佑这个国家的，但愿老天会吧”。纽约州州长此时的任期为