Inicialmente modelado como castillo tardogótico en plena ciudad a finales del siglo XV, fue transformado a mediados del siglo XVI en un ostentoso palacio de estilo renacentista nórdico para servir de residencia a los señores de Vrbno. Es testimonio de esta reforma un patio de armas de majestuosos pasillos arqueados, así como la soberbia torre del homenaje. Tras la Batalla de la Montaña Blanca, fue expropiado y transferido a la Orden de los Caballeros Teutones. Durante la Guerra de los Treinta Años quedó tan dañado el inmueble, que a mediados del siglo XVIII se barajó la posibilidad de demolerlo. Mas en 1766 se decidió su reforma (la última), la cual le dio su apariencia actual. Surgió así un inmueble que unía, de un modo singular, renacimiento con barroco. Aún sería retocado a mediados del siglo XIX y principios del siglo XX, pasando, en 1945, a ser administrado por el Estado checoslovaco.