Wann die Burg zugunsten der Zollstätte im Tal aufgegeben wurde, ist nicht genau bekannt. Das Zollgebäude dürfte aber bereits an der Wende zum 14. Jahrhundert errichtet worden sein. 1561 ist von einem "neu gemachten Palhauß am Lug" (= Ballhaus, d. h. Stapelplatz) die Rede, 1566 wird hier von einer "Kaiser-Stuben" berichtet, was mit den zwei Besuchen 1511 und 1514 von Kaiser Maximilian I. am Lueg in Zusammenhang steht. 1668 werden hier ein Turm und noch ein "alter Turm " genannt. Das Gebäude bestand aus einem Komplex von drei zusammenhängenden Häusern und einem westseitig gelegenen Turm. Alle Gebäude waren mit Krüppelwalmdächern eingedeckt. Durch das erste Haus führte (durch ein hohes Tor) die Straße hinauf zum Brenner. Lueg wurde 1778 zum Oberzollamt erhoben. Das Gebäude wurde aber 1797 schwer beschädigt. Auf Anordnung Marschall Lefebvres wurde 1809 das Zoll- und Ballhaus am Lueg als Reaktion auf die Niederlage in der Sachsenklemme niedergebrannt. 1815 wurde die Zollstätte aufgelassen.