President Washington utnevnte Lee til justisminister etter at William Bradford hadde gått bort i tjenestetiden. Etter senatets godkjennelse inntok han kontoret 10. desember 1795, og tjente der i resten av administrasjonens tjenestetid. Han fortsatte sin tjeneste der under John Adams, og ble der til 19. februar 1801.