Historie zdejšího panského sídla (původní tvrze) není zcela známa. Zámek je v Pyšelích prvně uváděn v roce 1587, kdy jsou jako majitelé panství uváděni Karel Mračský z Dubé s manželkou Maruší z Donína (ti na zámku jednou hostili i krále Fridricha Falckého). V období pobělohorských konfiskací byly Pyšely postoupeny Karlu Harrachovi. V dalším období se majitelé rychle měnili. Roku 1787, kdy byl majitelem Antonín Voračický z Paběnic, byl zámek přestavěn. V roce 1805, za Jáchyma Voračického z Paběnic měl zámek již tři patra, byl celý vystavěn z kamene, měl tři klenuté vchody, nad hlavním schodištěm byla dřevěná kopule a kaple s východem ze zámku. V roce 1820 byl zámek opět přestavěn a vystavěna věž, která však byla roku 1838 zbořena. Před rokem 1908 byl zámek uvnitř zmodernizován a věž byla znovu postavena. Z kaple, zrušené roku 1862, se zachoval kamenný barokní portál.