મિલર ફિલમોર, 1850-1853