La Guerre de Livonie commence en 1558, et le roi Sigismond II de Pologne rend le château et les villages alentour à l'Ordre de Livonie, pour s'assurer de son soutien matériel et militaire. En effet, Dünabourg devient la forteresse principale du grand-duché outre-dvinien ("Ducatus Ultradunensis"), ou grand-duché de Livonie. Il est cependant détruit en 1577 par les troupes d'Ivan le Terrible. Les ruines servent à construire un nouveau bourg à l'emplacement actuel de Daugavpils avec un petit fort.