W XVI w. należał do Kiszków, którzy posiadali tam drewniany dwór. Prawdopodobnie w związku z małżeństwem Barbary z Kiszków z Jerzym Radziwiłłem Herkulesem (zm. 1541), kasztelanem wileńskim i hetmanem wielkim litewskim, stał się własnością rodu Radziwiłłów i był dziedziczony kolejno przez Mikołaja „Rudego” oraz jego syna Krzysztofa „Pioruna”. Obecny budynek został zbudowany na polecenie hetmana wielkiego litewskiego, wojewodę wileńskiego Janusza Radziwiłła. Budowę rozpoczęto po 1640 roku, a ukończono przed rokiem 1653. Twórcą projektu był architekt królewski Constantino Tencalla, a wykonawcami budowniczy Jan Ulrich i Wilhelm Pohl. Od imienia fundatora pałac był nazywany "Pałacem Januszowskim", dla odróżnienia od innego pałacu Radziwiłłów w Wilnie na Puszkarni zwanego "Pałacem Bogusławowskim" (dziś nieistniejącego). W 1655 r. zmarł jego właściciel Janusz, a Bogusław Radziwiłł, ożeniony z jego córką Anna Marią, przejął pałac. Budynek został zniszczony w 1655 roku w czasie najazdu moskiewskiego 1655-1660 i wojny północnej. Bogusław Radziwiłł zamierzał wyremontować pałac, w którym przygotowano do użytkowania jeden z pawilonów, jednak prac nie rozpoczęto przed jego śmiercią. Nieświescy spadkobiercy nie byli zainteresowani rewaloryzacją dóbr swoich kalwińskich kuzynów, zwłaszcza, że mieli rodowe pałace i nieruchomości w Wilnie niezagrożone przejęciem w ramach sporów o dobra neuburskie.