Kahramanmaraş'ın Tarlacık Köyü'nde dünyaya geldi. 1955 yılında daha sonra Ankara'ya nakledilen Mersin Astsubay Okulu'na kaydoldu. 1960'da eşi Suna'yı kaçırdı ve 6 ay köyünde kaldı. Bu sırada okulu Balıkesir'e nakledildi. Okul komutanının çabası ile yeniden okula dönen Aşık Mahzuni, 6 ay devamsızlık yaptığına ilişkin bir ihbar üzerine okuldan atılınca yeniden köyüne döndü. 1964 yılında ilk plağı ile müzik piyasasına girdi. Bir süre Gaziantep'te ikamet ettikten sonra Ankara'ya taşındı. 1989-1991 yılları arasında Halk Ozanları Derneği Genel Başkanlığı'ni yürüten Aşık Mahzuni Şerif, Pir Sultan Abdal Dernekleri Genel Merkez Disiplin Kurulu Başkanlığı, Hacı Bektaşi Veli Anadolu Kültür Vakfı Yönetim