Setelah Belanda akhirnya mengakui kedaulatan RI akhir tahun 1949, Zainul Arifin kembali ke Parlemen sebagai wakil Partai Masyumi di DPRS dan kemudian wakil Partai NU ketika akhirnya partai yang dianggap representasi kiai tradisionalis ini memisahkan diri dari Masyumi pada tahun 1952. Setahun sesudahnya, Arifin berkiprah di lembaga eksekutif dengan menjabat sebagai wakil perdana menteri (waperdam) dalam Kabinet Ali Sastroamidjojo I yang memerintah dua tahun penuh (1953-1955).