Otepää var viktig i forhistorisk tid. Det finnes en bygdeborg like ved byen, og de tyske korsfarerne bygde sitt aller første steinfort i Estland her, i 1225. Det brøt senere ut konflikt mellom sverdbroderordenen og biskopen av Tartu. Ordensridderne beleiret og raserte byens borg i 1396. Arkeologer har her funnet en pistol i bronse som kan være fra 1396, tre år eldre enn et eksemplar funnet i Tannenberg i Tyskland. Dette gjør «Otepää-pistolen» til en av verdens eldste.