Byen ligger på den gamle ruten mellom Moskva og Arkhangelsk (på den tid den eneste russiske havnebyen), og Kargopol ble en av Russlands rikeste byer, spesielt etter at det engelske Muscovy Company startet sin virksomhet midt på 1500-tallet. I de urolige tider i Russland motstod byen en beleiring av polske og litauiske brigader. Opprøreren Ivan Bolotnikov ble henrettet i Kargopol i 1608.