W 1612 roku o istnieniu zamku w Drohiczynie wzmiankował wizytator klasztoru franciszkanów, który napisał „miasto drewniane bez murów obronnych, prócz zamku”. Prawdopodobnie na zamku mieścił się sąd grodzki i była to siedziba królewskiego starosty grodowego. Dwór ten został zniszczony podczas potopu szwedzkiego i na skutek braku opieki oraz osuwania się góry do rzeki uległ całkowitej zagładzie. Jedynie w pamięci mieszkańców Drohiczyna zachowało się wspomnienie o stojącym tu niewielkiej kwadratowej budowli, która mieściła tzw. "górną wieżę" i "dolną wieżę", czyli areszt cywilny i więzienie kryminalne dla szlachty. W 1788 r. wieża ta została rozebrana. Pozostałościami rozebranej konstrukcji są obrabiane ciosy kamienne znajdujące się na dnie dawnej fosy.