nama man 2 kudus bagi masyarakat kabupaten kudus dan sekitarnya bukan merupakan sesuatu yang asing.
bahkan untuk lingkup jawa tengah, madrasah ini dikenal sebagai man unggulan.
madrasah yang merupakan alih fungsi dari pgan kudus sejak tahun 1992 ini biaya pengelolaannya berasal dari pemerintah / dipa dan swadaya dari orang tua siswa melalui syahriyah.
proses pendirian madrasah ini diawali dari pendirian sgai (sekolah guru agama islam) pada tanggal 1 september 1950 khusus untuk kelas putra sebagai instelling besluit departemen agama ri tanggal 25 agustus 1950 nomor 167/a/cq. kemudian nama sgai diubah menjadi pgap dengan keputusan menteri agama no. 7 tahun 1951.
pada tahun 1957 keluarlah keputusan inspeksi pendidikan agama wilayah vi tertanggal 12 juni 1957 dengan nomor : 9/bi/tgs/1957 tentang izin untuk membuka kelas putri terpisah.
dengan demikian pada tahun 1957 sudah ada kelas putra dan putri secara terpisah.
berdasarkan surat keputusan menteri agama tanggal 31 desember 1964 nomor 106/1964 pgan kudus disempurnakan, dari pgan 4 tahun menjadi pgan 6 tahun.
kemudian berdasarkan surat edaran dari direktorat jenderal bimbingan masyarakat islam departemen agama tanggal 24 mei 1977 nomor d iii/ed/80/77 tentang pelaksanaan program kurikuler di pga 4/6 th, menyatakan bahwa struktur pga secara kurikuler untuk kelas i, ii dan iii menggunakan kurikulum madrasah tsanawiyah.
kemudian disusul dengan surat keputusan menteri agama tertanggal 6 maret 1978 nomor 19 tahun 1978 tentang susunan organisasi dan tata kerja pendidikan guru agama negeri, maka pgan 6 tahun kudus dibagi menjadi 2, yaitu :
- untuk kelas i, ii dan iii menjadi mts negeri kudus.
- untuk kelas iv, v dan vi menjadi pga negeri kelas i, ii dan iii.
selanjutnya pada tanggal 6 juni 1992 pgan kudus mengalami alih fungsi menjadi man 2 kudus berdasarkan kma nomor 41 tahun 1992 tenggal 27 januari 1992.
dan pada tahun 1999 nama man 2 kudus diganti menjadi man 2 kudus seperti sekarang ini.
lokasi pertama madrasah adalah meminjam gedung smpn 1 kudus sampai 4 bulan, kemudian pinjang ke kudus kulon yaitu pinjam di gedung sd muhammadiyah lalu pindah lagi di sebelah baratnya yaitu "rumah kapal" / bekas gudang pabrik rokok cap tebu cengkeh.
pada tahun 1960 pgan kudus mulai berusaha untuk memiliki tanah sendiri, yaitu membentuk sebuah panitia yang diketuai oleh sukimo af yang dibantu oleh anggota pomg / bp3 dan hasilnya adalah tanah di desa prambatan kidul sekarang ini, seluas 3,0488 ha. status tanah itu adalah tanah negara bebas yang pada waktu itu dikerjakan oleh 12 orang penduduk desa prambatan kidul secara tidak syah.
dengan demikian maka resmilah pgan kudus memiliki tanah sendiri.
maka dimulailah gedung satu unit pada tahun ajaran 1963 / 1964, dan setiap tahun selalu mengalami penambahan sampai seperti sekarang ini.
kendatipun secara resmi pgan kudus telah memiliki tanah sendiri sejak tahun 1962, namun pensertifikatannya baru selesai pada awal tahun 1982.
pada awal didirikan pgan lembaga ini bertujuan untuk menghasilkan guru  guru agama islam yang berkualitas dan dapat mendidik siswa mempunyai akhlaq yang luhur.
namun setelah alih fungsi menjadi man unggulan maka tujuannya menjadi lebih luas.
yaitu ikut mencerdaskan bangsa dengan menghasilkan lulusan (out put) yang mempunyai keimanan dan ketaqwaan yang kuat, akhlaq dan budi pekerti yang luhur, wawasan ilmu pengetahuan yang luas dan mendalam, nasionalisme dan patriotisme yang tinggi, motivasi dan komitmen untuk meraih prestasi, serta kepekaan sosial dan kepemimpinan.
sejak alih fungsi dari pgan menjadi man dari tahun 1992 sampai sekarang telah terjadi 5 kali pergantian kepala madrasah, yaitu drs. h. mukhlis (1992  1995), drs. h. wahyudi (1995  1999), h. sulaiman arifin, b.a. (1999  2001), drs. h. chamdiq zu, m.ag. (2001  2006) dan h. ah. rif an, m.ag. (2006  sekarang).
sedangkan ketua bp3 yang sekarang berganti nama menjadi komite sejak berdirinya man dijabat oleh sudarno (1992  1995), dr. h.
kasno (1995 1999), k.h. yasin (1999  2001), h. firman lesmana, s.e. (2001  2008), dr. h. masyharuddin, m.a. (2008  2010) h.
ahmad guntur, s.e. (2010 - 2013), dan h.ahmad rif'an, m.ag. (2013 - sekarang).
berbagai fasilitas dimiliki man 2 kudus untuk menunjang kegiatan belajar mengajar.
fasilitas tersebut antara lain:
free wifi hotspot