În 1661, moșia a fost dată lui Stefan Czarniecki ca răsplată pentru contribuția sa la victoria împotriva suedezilor în timpul Potopului. După patru ani, acesta a dat-o ca zestre fiicei sale Aleksandra, care s-a măritat cu Jan Klemens Branicki, trecând astfel la familia Branicki. În 1692, Stefan Mikołaj Branicki, fiul lui Jan Klemens Branicki (mareșal al Curții Coroanei), a obținut pentru Białystok drepturi de oraș de la regele Ioan al III-lea Sobieski. El a construit Palatul Branicki pe fundațiile castelului familiei Wiesiołowski. În a doua jumătate a secolului al XVIII-lea, orașul a fost moștenit de hatmanul Jan Klemens Branicki. El este cel care a transformat palatul construit de tatăl lui într-o mare reședință nobiliară.