Die erste Erwähnung einer Burg "Peskenstein" befindet sich in einer Urkunde des polnischen Princeps Ladislaus I. Ellenlang aus dem Jahr 1315, vermutlich aber handelte es sich um eine Burg von Herzog Heinrich dem Bärtigen an anderer Stelle in Sułoszowa. An heutiger Stelle wurde Pieskowa Skała im 14. Jahrhundert von König Kasimir dem Großen als Wehrburg errichtet und war damals Glied einer Kette von Burgen (Adlerhorst-Burgen), die sowohl die Grenze des Königreichs Polen zum benachbarten Schlesien als auch den wichtigen Handelsweg von Krakau über Olkusz und Beuthen nach Breslau (Via Regia) schützen sollten. Dies war nötig geworden, da Schlesien unter die Herrschaft Böhmens geraten war, mit dessen Herrschern die polnischen Könige in Konflikt lagen. Von 1377 bis 1608 war das Schloss Sitz der Familie Szafraniec. In den Jahren 1542–1580 wurde die gotische Burg zu einer Renaissanceresidenz umgestaltet. In dieser Zeit entstand der Arkadenhof, der dem des Krakauer Wawelschlosses ähnelt. Im 17. Jahrhundert entstanden die Befestigungsanlagen mit Bastionen. In der Zeit der "Schwedischen Sintflut" (1655) und bei einem Brand im Jahr 1718 wurde das Schloss schwer beschädigt und 1768 als Sitz der Familie Wielopolski wiederaufgebaut. Ein weiterer Brand im Jahr 1850 zerstörte den ältesten Teil der Anlage, das sogenannte Hohe Schloss.