В 1558 году началась Ливонская война. В 1559 году Динабург был уступлен ливонцами королю польскому и великому князю литовскому Сигизмунду II Августу. По договору между Сигизмундом II и ландмейстером Тевтонского ордена в Ливонии Готхардом Кетлером, заключённому в 1561 году, Динабург вошёл в состав Великого княжества Литовского. В 1569 году герцог Готхард Кетлер окончательно отказался от замка в пользу Речи Посполитой.