Gjennom harde forhandlinger med de sørlige statene, og etter press fra prøyssiske næringsdrivende, gjenopptok Bismarck i 1867 idéen om et tollparlament for de tyske tollforeningene. Tollparlamentet ble etablert i mars 1868 og var ment som en institusjon som var dominert av Preussen. Den opphevet makten til tollforeningene, som hadde sin base i sør, og som hadde hatt vetorett innenfor de enkelte statene. Valgene til tollparlamentet fant sted i februar og mars 1868, men bare i sør ettersom nord allerede var representert i den nordtyske Riksdagen. Valget ble en skuffelse for tilhengerne av «den lilletyske løsning»: De sørlige statene sendte 85 folkevalgte til tollparlamentet, men bare 26 ønsket en «lilletysk løsning». Patrioter i Bayern og Württemberg reagerte endog med å foreslå hjelp fra den franske keiseren Napoleon III. Men da han krevde territoriell kompensasjon, møtte forslaget mistro blant offentligheten i de sørtyske statene.