કહેવાય છે કે સિદ્ધારમૈયાને મળવા આવેલી એક સ્ત્રી સાથે તેઓએ ગેરવર્તુણક કરી છે.