En 1957, cuando Ghana alcanza su independencia, con la reina Isabel II de Inglaterra como jefe de estado, el fuerte se convierte en la Casa del Gobierno, residencia del Gobernador General.