1857 erhielt Bright das Angebot von US-Präsident James Buchanan, Außenminister in seinem Kabinett zu werden, doch der Senator lehnte ab. Er verblieb im Kongress, wo er sich nicht als großer Redner auszeichnete, sondern eher durch seine Ausschussarbeit. Am 5. Februar 1862 wurde Bright mit der Mehrheit von 29 republikanischen und zehn demokratischen Senatoren aus dem Senat ausgeschlossen. Auslöser war ein von ihm unterzeichneter und an den konföderierten Präsidenten Jefferson Davis gerichteter Brief aus dem Vorjahr, in dem es um eventuelle Waffenverkäufe an die abtrünnigen Südstaaten ging; Morton S. Wilkinson, Senator aus Minnesota, hatte das Schreiben dem Plenum vorgelegt, das während der Ersten Schlacht am Bull Run bei einem gefangengenommenen Waffenhändler gefunden worden war. Die darin zum Ausdruck gebrachte Anerkennung von Jefferson Davis als Präsident der Konföderation zog Brights Ausschluss aus dem Kongress nach sich, für den unter anderem auch der demokratische Senator Stephen A. Douglas aus Illinois stimmte. Jesse Bright war der 14. Senator, der während des Bürgerkrieges von einer solchen Maßnahme betroffen war; nach ihm wurde bis heute kein Mitglied des Senats mehr ausgeschlossen. 1863 kandidierte er erfolglos noch einmal für seinen eigenen vakanten Sitz.