После Грюнвальдской битвы 1410 года замок потерял свое стратегическое значение. Князь Витовт часто останавливался в замке и принимал гостей. После его смерти замок стал резиденцией старосты Каунаса, в замке располагались различные административные учреждения. В начале XVI века замок использовался как тюрьма. Один из наиболее известных заключенных был сын Ахмата, хана Большой Орды, Шейх-Ахмад.