Původní tvrz se v pramenech poprvé připomíná roku 1360. Vlastníl ji Ješek a Půta ze Skalky, význam panství byl v zemědělském hospodářství. Hospodářský dvůr byl tehdy důležitý, ale i obytná část procházela vývojem. Na přelomu 16. a 17. století nahradila původní tvrz kamenná budova se dvěma patry sklepů vytesanými ve skále. Rytíři Ostrovští se po porážce stavovského povstání včas přidali po roce 1620 ke katolíkům a tak o svůj majetek nepřišli. Nepřežili však Bílou horu dlouho, jejich rod v roce 1646 vymírá po meči a sňatkem Skalku získal Jan Mladota ze Solopisk. Jeho potomci se proslavili zvyšováním poddanských břemen a utužováním nevolnictví v nejtěžším pobělohorském období. Jejich počínání jim přinášelo takové zisky, že si mohli postavit v Praze barokní palác a v létech 1736 až 1739 přestavět renesanční budovu zámek Skalka do dnešní raně rokokové podoby. Tento typ rokokové architektury je v Čechách dosti vzácný a ojedinělý. Zdejší kaple patří k největším zámeckým kaplím při srovnání s celou stavbou, její objem představuje téměř pětinu zámecké budovy. Mladotové ze Solopisk drželi Skalku až do roku 1800, kdy od nich zámek i s celým panstvím koupil František Gundakar kníže Colloredo-Mansfeld. Pravděpodobně ho zajímalo jen prosperující zemědělské panství. Další osud Skalky byl poznamenán častým střídáním majitelů, počítajících výnos z hospodářského dvora, který byl až do 18. století oddělen od vlastního zámku příkopem. Zámek sám déle než jedno století postupně chátral, teprve péčí státu se dočkal důkladné stavební obnovy i vhodné vnitřní expozice.