Før han ble visejustisminister var han United States attorney i Maryland. Trump nominerte Rosenstein til stillingen som visejustisminister 1. februar 2017, og han ble godkjent av senatet 25. april samme år. Den 26. april overtok han stillingen etter fungerende visejustisminister Dana Boente.