એક મત મુજબ એમ જાણવા મળે છે કે, આ ગુફાઓની સામે પૂર્વ દિશામાં બાવા પ્યારેની જગ્યા છે અને તેથી આ ગુફાઓ બાવા પ્યારેની ગુફાઓ કહેવાય છે, પરંતુ બાવા પ્યારેના મઢ તરીકે ઓળખાતી જગ્યા સાથે ગુફાઓને વાસ્તવમાં કોઈ સંબંધ નથી.