Am 20. Mai 1856 hielt der republikanische Senator Charles Sumner aus Massachusetts in Zusammenhang mit den gewalttätigen Vorgängen in Kansas eine Rede im Kongress, in der er die Verhältnisse im Süden im Allgemeinen, insbesondere aber den Staat South Carolina scharf angriff ("Schandfleck der Zivilisation") und dabei auch Senator Andrew Butler, Brooks’ Cousin, massiv beleidigte. Senator Butler war zu diesem Zeitpunkt nicht anwesend und Brooks fühlte sich als sein Verwandter und Landsmann verpflichtet, diese Beleidigung zu rächen. Am 22. Mai 1856 betrat Brooks den Senat, suchte Charles Sumner auf und sprach ihn an: "Ich habe mir ihre Rede zweimal sorgfältig durchgelesen Sir, sie stellt eine Beleidigung South Carolinas und des Senators Butler dar, mit dem ich verwandt bin!" Danach hob er seinen Spazierstock und schlug damit bis zu 30 Mal auf Sumner's ein, wobei der Stock in mehrere Teile zerbrach. Der schwer verletzte Sumners musste danach dem Senat drei Jahre fernbleiben. Sein Staat ließ seinen Platz in dieser Zeit demonstrativ unbesetzt. Der Vorfall wurde im Norden als einen Akt der Barbarei betrachtet, während der Süden Brooks zum Helden erklärte, weil er die Ehre des Südens wiederhergestellt habe. So schickten ihm einige Bewunderer aus den Südstaaten neue Spazierstöcke, einige waren mit der Inschrift „Hit him again“ versehen. Bei den Wahlen von 1856 sollte die Empörung über den Vorfall allerdings den Republikanern zugutekommen.