Palasset har en historie tilbake til 1300-tallet, da storfyrst Jogaila av Litauen, utstedte et edikt hvor det ble avgitt en bytomt til Vilnius bispedømme, og av denne grunn ble presidentpalasset av og til omtalt som «bispepalasset». Bygging av et palass på tomten ble påbegynt sent på 1300-tallet under overoppsyn av den første biskopen av Vilnius Andrzej Jastrzębiec, og gjennom de etterfølgende generasjonene ble bygningen gradvis utvidet og renovert. Under Renessansen ble palasset enda en gang renovert, og parkanlegget og hagene rundt ble utvidet.