Den første kjente tolleren i Stavanger var Tore Toreson, som var byfogd og toller fra 1604-06. Fram til 1840 er det trolig at tollerne – som var av byens rikeste sjikt – hadde tollkontorer hjemme i sitt eget hus.