Palasset ble reist i rokokkostil på 1740-tallet til storhetman Jan Klemens Branicki etter tegninger av Jan Zygmunt Deybel, i samarbeid med Jan Henryk Klemm, Jakub Fontana og Jan Chryzostom Redler, inspirert av samtidens franske palasser. Palasset var da kjent som «Fru Krakowskas palass», etter kallenavnet til hetmanens kone Izabela Poniatowska, søsteren til kong Stanisław August Poniatowski. I 1804 solgte hun palasset til Niemojewski-familien. I 1817 gikk det derimot over til Stanisław Sołtyk. Palasset ble ombygd flere ganger på 1800-tallet, og ble i stor grad ødelagt av tyskerne under andre verdenskrig. Etter krigen ble Branicki-palasset gjenoppbygd i årene 1947–1953, på grunnlag av et maleri av Bernardo Belotto.