Pierwszy budynek na obecnej ul. Jezuickiej 4 został wzniesiony prawdopodobnie w XV wieku, zgodnie z datowaniem zachowanych murowanych piwnic. Po potopie szwedzkim uległ zniszczeniu, spaleniu lub opuszczeniu, jak większość okolicznych domostw, o czym świadczy lustracja z 1658 r. Być może został zapisany w testamencie jezuitom, gdyż nazwisko pierwszej znanej właścicielki, która w roku 1764 sprzedała nieruchomość, jest identyczne z nazwiskiem byłego przeora jezuitów bydgoskich, Felicjana Grzybowskiego. Regina Grzybowska sprzedała nieruchomość w roku 1764 małżeństwu Rehbergom za 160 tymfów. Była to pusta wówczas posesja lub dom zrujnowany, gdyż w roku 1773 pisano, że „"wokół Fary istniał tylko jeden dom"”, a potwierdza to również plan Bydgoszczy mierniczego Gretha z 1774 r.