Iver Lauritzen Lym var toller i 1669. Bygningen ble trolig reist i 1670. Fra 1673 til 1685 besatt Johannes de Rohde embetet. Fra 1686 til 1789 var Tollerodden eid av fire tollere på rad: Torben Grønvold, Arnt Kierulf, Claus Hartvig Bisgaard og Carl Fredrik Gether. Tolleren Arnt Kierulf var en fargerik personlighet som i 1730-årene ble arrestert for underslag av tollkassen.