Nach der Gründung des Staates Israel, zu dessen Gründungsvätern Rosen gehörte, war er 1948 Mitbegründer der Progressiven Partei (Miflaga Progresivit), die sich als Bündnis aus der Neuen Aliyah-Partei, Ha'Oved Ha'Zioni sowie Gruppen von Zionisten bildete. Am 14. Mai 1948 wurde er von Ministerpräsident David Ben Gurion zum ersten Justizminister ernannt und behielt dieses Amt zunächst bis zum 8. Oktober 1951. Für die Progressive Partei wurde er am 14. Februar 1949 auch erstmals zum Abgeordneten der Knesset gewählt, der er bis zum 23. Dezember 1968 ununterbrochen angehörte. Vom 24. Dezember 1952 bis zum 13. Februar 1956 war Rosen dann erneut Justizminister, ebenso wie vom 7. Januar 1958 bis zum 2. November 1961. Als Justizminister setzte er sich für diplomatische Beziehungen mit der Bundesrepublik Deutschland ein. Im Januar 1952, bei den kontroversen Auseinandersetzungen in der Knesset um bundesdeutsche Entschädigungszahlungen, spielten letztendlich wirtschaftliche Faktoren eine entscheidende Rolle. Bei dem Gesetz zur Bestrafung von Nazis und Nazihelfern von 1950, das Rosen in die Knesset eingebracht hatte, ging es vorrangig um die Ahndung von Verbrechen, die in Kollaboration mit Nationalsozialisten in Deutschland bzw. im deutsch besetzten Europa begangen wurden von Personen, die später in Israel lebten.