El castillo fue construido en la cima de una pequeña península montañosa de forma circular que está orientada hacia la bahía de Hirado, rodeada por tres lados por agua.