Во время гражданской войны в Канзасе Самнер боролся против билля Канзас-Небраска, не запрещавшего распространение рабства на свободные земли штата. 19-20 мая 1856 года он произнёс свою знаменитую речь «Преступление против Канзаса» с ядовитым обвинением рабовладельцев. В ответ представитель от штата Южная Каролина Престон Брукс напал на Самнера с тростью с золотым набалдашником, повалил его на пол сената и чуть не убил за то, что тот высмеивал его родственника, сенатора от Южной Каролины Эндрю Батлера как «сутенёра рабства». Это событие вызвало осуждение прогрессивной общественности — поэт Уильям Каллен Брайант и философ Ральф Уолдо Эмерсон осудил его как безусловно варварский акт; однако консервативные южане рукоплескали нападавшему и присылали ему новые трости, поощряя к дальнейшему насилию.