No parece probable que Miller fuese masón activo mientras seguía su permiso como ministro de la Iglesia Bautista de Low Hampton el 12 de septiembre de 1833; la logia de Poultney -y la mayoría de las otras logias- cerró en 1832 durante el tiempo del fervor Anti-Masón.