Setelah Kemerdekaan Yani bergabung dengan tentara republik yang masih muda dan berjuang melawan Belanda. Selama bulan-bulan pertama setelah Deklarasi Kemerdekaan, Yani membentuk batalion dengan dirinya sebagai Komandan dan memimpin kepada kemenangan melawan Inggris di Magelang. Yani kemudian diikuti ini dengan berhasil mempertahankan Magelang melawan Belanda ketika ia mencoba untuk mengambil alih kota, mendapat julukan "Juruselamat Magelang". Sorot lain yang menonjol karier Yani selama periode ini adalah serangkaian serangan gerilya yang diluncurkan pada awal 1949 untuk mengalihkan perhatian Belanda sementara Letnan Kolonel Soeharto dipersiapkan untuk Serangan Umum 1 Maret yang diarahkan pada Yogyakarta.