Gediminasin vuoren rinteiden kaltevuus on jyrkimmillään jopa 60 astetta ja näiden uskotaan pettävän jo satoja vuosia sitten. Vanhin maininta maanvyörymistä löytyy XIV luvun lopussa tehdyistä kirjallisista lähteistä, joissa viitattiin myös, että niissä maanvyöryissä kuoli ihmisiä, mm. että vuonna 1396 vuoren länsirinteen maanvyörymän arvioitiin tuhonneen voivodi Montvidasin palatsin ja haudanneen 15 ihmistä. 15–16 vuosisatojen vaihteessa mietittiin, kuinka suojata vuoren rinteen rakennuksia maanvyörymiltä. Vuoden 1551 paikkeilla pohjoisrinteelle rakennettiin kannattava muuri ja kastellirakennus eli pieni linnoitus tukemaan kummun kaltevuutta. Valtiovallan vaihtuessa linna kuitenkin menetti merkityksensä, tulipalot ja sodat heikensivät sen asemaa. Vuosina 1610–1613 Ylälinnan kellareissa oli aatelistovankila. Linna oli käytössä puolustustarkoituksissa Pohjan sodan vuosina 1655–1661, jolloin goottilainen ja varhaisbarokkinen Vilna tuhoutui lähes kokonaan.