Al principio del siglo XVI, la fortuna de Kilwa cambió radicalmente: Vasco da Gama tomó la isla en 1502 y, como el sultán cesó de pagar su tributo, el 24 de julio de 1505, los portugueses, comandados por Francisco de Almeida, la destruyeron y construyeron un fuerte que más tarde fue utilizado como prisión y, por eso, denominado “Gereza”.