湊番所は明治時代に税関となり、現在は新潟海上保安部佐渡海上保安署の旧庁舎(佐渡市両津湊)が建っている。