Byen lå ved en viktig handelsrute mellom Buda og Kraków og fikk bystatus av kong Béla IV av Ungarn rundt 1238 som en av de første i Kongedømmet Ungarn. Zvolen var viktig som administrasjonssenter for mesteparten av det nåværende sentrale Slovakia som ble styrt fra borgen Pustý hrad (kalt 'den forlatte borgen') som i dag er en ruin. Fra slutten av 1300-tallet bygget Ludvig I av Ungarn et jaktslott i Zvolen som erstattet det eldre slottet som deretter forfalt. Jaktslottet er i dag en av avdelingene til det slovakiske nasjonalgalleriet (, forkortet ) med utstillinger av eldre verker og gotisk kunst.