Hubungan diplomatik sempat terputus pada tanggal 17 September 1963 akibat terjadinya Konfrontasi Indonesia–Malaysia. Proses pemulihan hubungan diplomatik diawali dengan penandatanganan "Bangkok Accord" antara Menteri Luar Negeri kedua negara pada tanggal 1 Juni 1966 di Bangkok. Pertemuan berikutnya di Jakarta menghasilkan "Perjanjian Pemulihan Hubungan Republik Indonesia–Malaysia" ("Jakarta Accord") pada tanggal 11 Agustus 1966. Kemudian pada tanggal 14 September 1966 di Kuala Lumpur ditandatangani "Pengertian Bersama Tentang Persoalan-persoalan Non Militer". Pada bulan September 1967 Indonesia membuka Kantor Penghubung ("Liaison Office") di Kuala Lumpur sebagai kantor perwakilan Indonesia. Kantor ini dikepalai Letkol Benny Moerdani. Duta Besar Indonesia pertama sejak pemulihan hubungan diplomatik adalah Tan Sri HA Thalib Depati Santio Bowo yang mulai menjabat pada tahun 1968.