Nach seinem Studium war er Mitarbeiter („clerk“) des Bundesrichters Douglas H. Ginsburg und arbeitete dann für das US-Justizministerium ab 1990, zunächst unter dem damaligen Assistant Attorney General Robert Mueller Korruptionsfälle und dann in verschiedenen Bereichen, darunter für Philip Heymann und zwei Jahre lang für den Sonderermittler Kenneth Starr im Zuge der Whitewater-Affäre. 1997 berief ihn die damalige United States Attorney für Maryland Lynne A. Battaglia zu ihrem Assistenten, als der er unter anderem Kreditkartenbetrug bearbeitete. 2001 kehrte er als Principal Deputy Assistant Attorney General ins Justizministerium zurück, wo er in der Abteilung für Steuerkriminalität arbeitete. Rosenstein wurde am 12. Juli 2005 zum United States Attorney für Maryland ernannt, nachdem seine Nominierung vom US-Senat einstimmig bestätigt worden war. Er war dort für die Städte der mittleren Atlantikküste wie Washington, D.C. und Baltimore und insbesondere für die Verfolgung von Drogengeschäften zuständig. Er war 2007 vom damaligen US-Präsidenten George W. Bush als Kandidat für den United States Court of Appeals im vierten Gerichtsbezirk nominiert worden, aber am Widerstand der damaligen US-Senatoren für Maryland, Barbara Mikulski und Ben Cardin, gescheitert, die seine fehlende Herkunft aus dem Bundesstaat bemängelten.