Pałac Paców powstawał na przełomie XVI/XVII wieku w miejscu kamienicy Pigulczyńskiej. W końcu XVI wieku budynek nabył starosta generalny żmudzki Hieronim Wołłowicz. W pierwszej połowie XVII wieku właścicielami zostali Radziwiłłowie, później Kazimierz Sapieha, a dopiero w połowie XVII wieku wszedł w posiadanie Paców. W 1655 w czasie wojny polsko-rosyjskiej budynek pałacu został spalony. Odbudowany po wojnie należał m.in. do starosty generalnego żmudzkiego Piotra Michała Paca, hetmana wielkiego litewskiego Michała Kazimierza Paca oraz kasztelana żmudzkiego Józefa Franciszka Paca. W 1764 odziedziczył pałac ostatni z Paców – marszałek generalny litewski Michał Jan Pac.