અલીવર્દી ખાનના મૃત્યુ પછી સિરાજુદ્દૌલાને ગાદી નહીં મળે એમ અંગ્રેજો માનતા હતા, તેમ છતાં, જ્યારે એને ખરેખર ગાદી મળી ગઈ તો પણ એમની અક્કલ ઠેકાણે ન આવી. એ વખતે હુગલી, પદ્મા અને જલંગી નદીઓના ત્રિકોણમાં આવેલા ટાપુ કાસિમ બજાર પર અંગ્રેજોની કિલ્લેબંધ ફૅક્ટરી હતી. સિરાજુદ્દૌલાએ તરત જ કાસિમ બજારની ફૅક્ટરીના ગવર્નર વૉટ્સને સ્પષ્ટ શબ્દોમાં લખ્યું કે એ લોકો અહીં માત્ર વેપારી તરીકે નહીં રહે તો એમણે બંગાળ છોડવું પડશે. ત્રણ હજાર સૈનિકોએ કાસિમ બજારને ઘેરો ઘાલ્યો. થોડા જ દિવસમાં સિરાજુદ્દૌલા પોતે પણ ત્યાં પહોંચી ગયો.