લોકવાયકા એવી પણ છે કે, મહંમદ બેગડાએ પાવાગઢ પર ચઢાઈ કરી હિન્દુ સ્થાપત્યો તહસ-નહસ કરી દીધાં બાદ તેની ઉપર ચણતર કરાવ્યું હતું.