Chase ble ved Representantenes hus i slutten av 1804 konfrontert med seks anklagepunkter; det dreide seg særlig om hans håndtering av rettsærendet rundt John Fries. Senere ble det tilføyd to andre anklagepunkter. Sentatet, kontrollert av Jefferson-republikanere, innledet tidlig 1805 en avsettelsessak mot dommer Chase. Han ble frikjent i Senatet for alle anklager 1. mars 1805. Han forble (pr 2020) til den eneste høyesterettsdommer som det ble innledet en prosess mot. Hans frikjennelse er blitt betraktet som et eksempel på at det uavhengige domsmyndighetssystem kan klare å overvinne partitaktiske problemer.