Slaviske folkegrupper bosatte seg i området på 600-tallet, men først i 1378 fikk byen en større offentlig bygning etter Kastel-festningen, nemlig det fransiskanske klosteret i bydelen Petrićevac. Under hele middelalderen var byen, som den gang het Vrbovski Grad, viktig for den middelalderske bosniske staten.