Slektsnavnet kommer fra Niels Toller den eldres far, amtsskriver og toller Niels Toller (1566–96), som var gift med Margrethe Johansdatter Schnell (1574–1647). Det var tolleren Niels Toller som tok i bruk tilnavnet Toller som familienavn (skjønt dette resonnementets forklaringsverdi svekkes ved, at yrket ble skrevet - vel både på dansk og norsk - «Tolder»; - det fantes da også personer av navnet «Toller» i Danmark - og Tyskland - før Niels Tollers tid, f.eks. var Joachim II Engelbrecht [+ 1572/73], rådsherre i Greifswald 1545-73 etc., gift 1. gang med Katharina fra Anklam: jfr. «Vorpommersche Ahnen» # 206 og ).