El castillo yace en el extremo norte de la isla homónima, en un pueblo actualmente llamado Castletown, cerca de Fortuneswell.