ત્યાર પછીથી જ એવી અટકળો સેવાઇ રહી હતી કે ધવલીકરને તેના પદ પરથી હટાવી નાખવામાં આવી શકે તેમ છે.