Jabarkan Wakil Panglima dari Abdul Haris Nasution

Pada 1948 Nasution naik ke posisi Wakil Panglima TKR. Meskipun hanya berpangkat Kolonel, penunjukan ini membuat Nasution menjadi orang paling kuat kedua di TKR, setelah Jenderal Soedirman. Nasution segera pergi untuk bekerja dalam peran barunya. Pada bulan April, dia membantu Soedirman mereorganisasi struktur pasukan. Pada bulan Juni, pada sebuah pertemuan, saran Nasution bahwa TKR harus melakukan perang gerilya melawan Belanda disetujui.

Meski bukanlah Panglima TKR, Nasution memperoleh pengalaman peran sebagai Panglima Angkatan Bersenjata pada bulan September 1948 saat Peristiwa Madiun. Kota Madiun di Jawa Timur diambil alih oleh mantan Perdana Menteri Amir Syarifuddin dan Musso dari Partai Komunis Indonesia (PKI). Setelah kabar itu sampai ke Markas TKR di Yogyakarta, diadakan pertemuan antara perwira militer senior. Soedirman sangat ingin menghindari kekerasan dan ingin negosiasi dilakukan. Soedirman kemudian menugaskan Letnan Kolonel Soeharto, untuk menegosiasikan kesepakatan dengan komunis. Setelah melakukan perjalanannya, Soeharto kembali ke Nasution dan Soedirman untuk melaporkan bahwa segala sesuatu tampak damai. Nasution tidak percaya laporan ini sementara Soedirman sedang sakit. Nasution sebagai Wakil Panglima kemudian memutuskan tindakan keras, mengirim pasukan untuk mengakhiri pemberontakan komunis di sana.

Pada 30 September, Madiun diambil alih oleh pasukan republik dari Divisi Siliwangi. Ribuan anggota partai komunis tewas dan 36.000 lainnya dipenjara. Di antara yang terbunuh adalah Musso pada 31 Oktober, diduga dia terbunuh ketika mencoba melarikan diri dari penjara. Pemimpin PKI lainnya seperti DN Aidit pergi ke pengasingan di Cina.

Pada 19 Desember 1948, Belanda melancarkan serangan sukses di Yogyakarta dan kemudian mendudukinya. Nasution, bersama-sama dengan TKR dan para komandan lainnya, mundur ke pedesaan untuk melawan dengan taktik perang gerilya. Presiden Soekarno dan Wakil Presiden Mohammad Hatta ditawan Belanda, Pemerintahan Darurat Republik Indonesia (PDRI) didirikan di Sumatra. Dalam pemerintahan sementara ini, Nasution diberikan posisi Komandan Angkatan Darat dan Teritorial Jawa. Setelah pengakuan Belanda atas kemerdekaan Indonesia, PDRI mngembalikan kekuasaan kepada Soekarno dan Hatta, dan Nasution kembali ke posisinya sebagai Wakil Panglima Soedirman.