Son oncle est un sénateur des États-Unis dans Caroline du Sud et son oncle Pierce Mason Butler est gouverneur de Caroline du Sud. Un des cousins germains de Matthew Butler est un membre du Congrès, , qui agressa le sénateur Charles Sumner en 1856 avec une canne dans le Sénat. Il déclara que c'était parce que Sumner avait insulté le sénateur Andrew Butler, chez qui Matthew avait vécu pendant sa jeunesse. Deux cousins germains de Butler meurent prématurément, (tué lors de la bataille d'Alamo) et le général confédéré Milledge Luke Bonham.