Na žalost je ne povsem natančna oporoka postala vzrok za številne spore glede lastništva tapiserij med kralji in plemiči. Celotna zbirka je bila kratek čas do leta 1572 le skupaj na gradu v Tykocinu. Nato so jo kraljeve sestre razpršile po svojih rezidencah v Krakovu, Niepołomicah, Varšavi, Vilni in Hrodni in nekatere poslale celo na Švedsko. Kralj Sigismund III. Poljski je vrnil 30 kosov, ki jih je Ana Jagelon poslala v Stockholm svoji sestri Katarini (Sigismundovi materi). Leta 1633 je tri tapiserije s "prizori iz Mojzesove zgodbe" Jerzy Ossoliński v imenu kralja Vladislava IV. Vase podaril papežu Urbanu VIII. Med Potopom je zbirko skrival Jerzy Sebastian Lubomirski na svojih posestvih v Spišu. V naslednjih letih je kralj Ivan II. Poljski brez soglasja parlamenta zastavil 157 tapiserij trgovcu iz Gdanska Janu Gratti. Da bi prisilil doživljenjske plače po njegovi abdikaciji, je kralj nekaj tapiserij odnesel tudi v Francijo. To je povzročilo proteste plemstva in kraljev dolg je bil odplačan šele leta 1724. Parlament je dal tapiserije v hrambo v varšavskemu karmelskemu samostanu; zadnjič so bile razstavljene med kronanjem kralja Stanislava Avgusta leta 1764. Po večji prenovi notranjosti varšavskega kraljevega gradu v neoklasicističnem slogu je kralj naročil nove tapiserije v Franciji in "Jagelonska zbirka" je bila zvita in shranjena v stavbi zakladniškega odbora – Palača republike. Glede na popis, opravljen v času vladavine Stanislava Avgusta, je bilo približno 156 arrassov. Leta 1795, po tretji razdelitvi Poljske, je Aleksander Suvorov v Rusijo odnesel tapiserije skupaj z drugim blagom, oropanim iz kraljevih rezidenc.