In 1507 gaf Vasili III de opdracht tot de bouw van een houten fort op de linker oever van de Oepa. De opdracht om een stenen stad te bouwen werd in 1514 gegeven. De stad werd in 1552 belegerd door Devlet I Giray. Op hetzelfde moment voerde tsaar Ivan IV een campagne tegen het kanaat van Kazan. Totdat de versterking van het leger van de tsaar vanuit Kolomna arriveerde moest de stedelijke bevolking het fort zelf verdedigen. In 1607 werd het Toelaër kremlin meerdere maanden bezet door opstandige boeren onder leiding van Ivan Bolotnikov. Tsaar Vasili IV slaagde er pas in de opstand te bedwingen door een dam aan te leggen in de Oepa, waardoor het kremlin overstroomde zodat de opstandelingen het verzet moesten opgeven. Ter herinnering aan deze gebeurtenis werd in 1953 werd in het kremlin een obelisk opgericht.