Setelah menyelesaikan pendidikannya di RHS, Sumarman bekerja di "Naimubu" (Badan Urusan Internal) pada masa pendudukan Jepang atas Hindia Belanda. Masa pendudukan Jepang berakhir setelah proklamasi kemerdekaan Indonesia pada tanggal 17 Agustus 1945 dan Kementerian Dalam Negeri dibentuk sebagai pengganti "Naimubu" pada saat yang bersamaan dengan pengumuman kabinet pertama Indonesia pada tanggal 19 Agustus. Sumarman menjabat sebagai Kepala Bagian Umum dan Pegawai dari kementerian tersebut. Selain bekerja sebagai pejabat di Kementerian Dalam Negeri, Sumarman juga merangkap jabatan sebagai Sekretaris Kabinet dan pembantu penulis Badan Pekerja Komite Nasional Indonesia Pusat.