Selama kunjungannya ke kota Sarajevo yang dilanda perang pada Maret 1995 dan kunjungan kehormatan ke Presiden Bosnia Alija Izetbegovic, Presiden Indonesia Soeharto memikirkan sebuah gagasan untuk membangun masjid di kota itu sebagai hadiah untuk rakyat Bosnia dan Herzegovina. Suharto mengatur bawahannya untuk mewujudkan idenya, dan menunjuk Achmad Noe'man, salah satu arsitek terkemuka di Indonesia untuk merancang masjid dan mengerjakan proyek tersebut. Noe'man dikenal karena karyan-karyanya seperti Masjid Agung Batam, Masjid Baiturrahim di lingkungan Istana Merdeka, dan juga Masjid At-Tin (1999) di Jakarta Timur dekat Taman Mini Indonesia Indah.