1858 માં, ફિલમોરે કેરોલિન કાર્મેકલ મેકિન્ટોટ સાથે લગ્ન કર્યા હતા, જે એક શ્રીમંત વિધવા હતા.