બાદમાં, રાણી વિક્ટોરિયા હેઠળ, કિલ્લાના સત્તાવાર રીતે બ્રિટિશ શાસકોનું નિવાસસ્થાન બન્યા.