Kaluga ble grunnlagt på midten av 1300-tallet som en grensefestning ved Storfyrstedømmet Moskvas sørvestre grense. Den ble første gang nevnt i historiske dokumenter i 1371. I middelalderen var Kaluga en mindre bosetning eid av Vorotynskij-fyrstene, hvis familiegods ligger sørvest for dagens by. På 1700-tallet vokste bosetningen til en handels- og administrasjonsby. Under krigen mot Napoleon i 1812 var Kaluga hovedkvarter for general Mikhail Kutuzov.