Navnet på byen dukker for første gang opp i dokumenter mot slutten av 1100-tallet. Hainricus de Tolnze bygget en borg på stedet som kontrollerte elven og trafikken på veiene i området, men denne eksisterer ikke lenger i dag. I 1331 gjorde Ludvig IV Tölz til en handelsby.