Apesar da sua aparência militar exterior, a estrutura foi projetada com o propósito de servir de casa de retiro de Hideyoshi e foi decorada e amobilada como tal. O castelo é particularmente famoso pelo seu quarto dedicado à cerimónia do chá, onde tanto as paredes como os utensílios estavam cobertos com folhas de ouro. O castelo também foi projetado para servir como um lugar onde Hideyoshi poderia ter conversações pacíficas com os diplomatas chineses que procuravam por fim às invasões da Coreia por Hideyoshi, contudo um terramoto destruiu completamente o castelo apenas dois anos após ter sido construído.