Den stärksten Widerstand gegen die Ilbert Bill kam von britischen Plantagenbesitzern, die fürchteten, dass indische Richter anders als britische Richter die Misshandlungen ihrer Plantagenarbeiter nicht mehr dulden wollten. Ein weiterer Argumentationspunkt nahm Bezug auf den Indischen Aufstand von 1857, während dessen angeblich zahlreiche britische Frauen und Mädchen durch indische Sepoys vergewaltigt worden wären. Für britische Frauen stellte es nach Sicht der britischen Kolonialisten eine große Demütigung dar, wenn sie in einem Vergewaltigungsfalle vor einem indischen Richter zu erscheinen hätten. In der britischen Presse wurde vermutet, dass indische Richter ihre Macht missbrauchen würden, um ihre Harem mit weißen Mädchen und Frauen zu füllen.