Han tjenestegjorde som USAs justisminister under president Jimmy Carter fra 1977 til 1979. Dette var kort etter Watergateaffæren og det ble fremstilt som prinsipielt kontroversielt og tvilsomt at presidenten utnevnte en personlig venn fra sine egne hjemtrakter til justisminister. Men da han trakk seg tilbake etter to år ble han generelt rost for sin innsats, både av politikere fra begge store partier, og i massemediene. I hans embedsperiode ble Foreign Intelligence Surveillance Act av 1978 vedtatt, mye på grunn av hans pådriverarbeid. Dessuten var han presidentens rådgiver ved utnevnelsen av en rekke føderale dommere, og det tillegges ham at en rekke kvinner og medlemmer av minoritetsgrupper kom sterkere inn i denne delen av amerikansk rettspleie. Han var usedvanlig åpen med sine gjøremål, og offentliggjorde én dag i etterkant hvilke kontakter utenfor departementet han hadde hatt – telefonsamtaler, møter, besøk i Det hvite hus og så videre. Denne svært detaljerte åpenheten ble ikke trendsettende.