Desafortunadamente, el testamento era un tanto impreciso por lo cual fue causa de numerosos conflictos sobre la propiedad de los tapices entre los reyes y nobles. Solo durante un breve lapso la colección se mantuvo completa en el Castillo en Tykocin hasta 1572. Luego las hermanas del rey desparramaron las piezas de la colección entre sus residencias en Cracovia, Niepołomice, Varsovia, Vilnius y Hrodna, y hasta enviaron algunas piezas a Suecia. El rey Segismundo III Vasa trajo de regreso 30 piezas que Anna Jagiellon había enviado a Estocolmo a su hermana Catalina (madre de Segismundo). En 1633, tres de los tapices con escenas de la "Historia de Moisés", fueron presentados por Jerzy Ossoliński, en representación del rey Vladislao IV Vasa, al Papa Urbano VIII. Durante el período denominado Diluvio de la historia polaca Jerzy Sebastian Lubomirski escondió la colección en sus mansiones en Spiš. Los años siguientes el rey Juan II Casimiro Vasa hipotecó 157 tapices a un comerciante de Gdańsk, Jan Gratta, sin el consentimiento del parlamento. Para solventar sus gastos luego de su abdicación el rey tomó algunos tapices y los llevó consigo a Francia. Ello dio origen a protestas por parte de la nobleza y la deuda del rey recién fue pagada en 1724. El parlamento ordenó que los tapices fueran guardados en el convento carmelita de Varsovia y fueron expuestos por última vez durante la coronación del rey Stanisław Augustus en 1764. Luego de la reconstrucción de los espacios interiores del Castillo Real de Varsovia en estilo neoclásico el rey encargó nuevos tapices en Francia y la colección jagelloniana fue quitada de los muros y almacenada en el edificio del Comité del Tesoro - Palacio de la República. Según un inventario realizado durante el reinado de Stanisław Augusto había unos 156 arrasses. En 1795, luego de la Tercera partición de Polonia, los tapices y otras riquezas saqueados de las residencias reales, fueron llevados por Alexander Suvorov a Rusia.