I 1995 begynte han å arbeide for drapsavsnittet for statsadvokaten i District of Columbia. Han ble i 1998 statsadvokat for Northern District of California. Tidlig i 2001 returnerte Mueller til Washington, D.C. for å arbeide som statsadvokat (Deputy Attorney General).