Tuż przy bramie prowadzącej do Pałacu, na początku ulicy Jana Kilińskiego znajduje się Pałacyk Gościnny, wzniesiony przez Branickich dla takich hetmańskich gości, dla których zabrakłoby miejsca w pałacowych oficynach, a ich pozycja nie pozwalałaby im na zatrzymanie się w którymś z zajazdów znajdujących się w mieście. Jednak jest to tylko jedna z interpretacji przeznaczenia budynku. Można też przypuszczać, że miał to być, modny w owym czasie maison de plaisance, do którego zwykły uciekać damy przed obowiązkami życia dworskiego. Niewykluczone, że Pałacyk zapragnęła mieć dla siebie Izabela z Poniatowskich Branicka. Budowę rozpoczęto przed 1770 rokiem przy drodze wiodącej z miejskiego rynku do hetmańskiej rezydencji, w pobliżu dwóch stawów bezpośrednio sąsiadujących z Pałacem Branickich. Pałacyk Gościnny był ostatnim wzniesionym przez Branickiego obiektem w rezydencji białostockiej. Być może potem korzystał z budowli koniuszy Branickich, pułkownik Andrzej Węgierski, bowiem do Pałacyku przylgnęła nazwa „Dom Koniuszego”. Są to jednak tylko przypuszczenia. W roku śmierci Branickiego (1771 r.) zakończone zostały prace przy elewacjach budynku. Nigdy nie zrealizowano projektów wnętrz. Po roku 1838 budynek, podobnie jak cały zespół pałacowy, był własnością Instytutu Panien Szlacheckich. Przed II wojną światową w „Domku Koniuszego” znajdowała się kawiarnia, sklep cukierniczy i restauracja Savoy. W roku 1941 usadowiły się w nim władze okupacyjne, a w 1944 roku został zburzony podczas bombardowania znajdującego się po sąsiedzku hotelu Ritz. W roku 1947 rozpoczęto trwającą 5 lat odbudowę. Obecnie mieści się w nim Pałac Ślubów.