Na místě jednoduché jednopatrové zámecké budovy v empírovém slohu původně stávala tvrz ze 14. století, náležející místním vladykům z Nezdenic. Za válek Jiřího z Poděbrad a Matyáše Korvína byla pravděpodobně zpustošena, nicméně záhy byla opět obnovena. Jako existující objekt se připomíná ještě v roce 1637, kdy Nezdenice od evangelíka Fridricha Kalkreutera koupil Menhart Marisiany. V roce 1714 koupili Nezdenice Serenyiové, kteří tvrz ve 20. letech přebudovali v menší barokní zámek. Do empírového slohu byl přestavěn v letech 1820–1822 Janem Herringem. Roku 1925 zakoupili zámek bratři Spíškové, kteří jej zrekonstruovali (1926) a drželi až do "února" 1948. Zámek sloužil účelům MNV a Státního statku. Dnes je objekt majetkem obce a slouží jako jedna z budov komplexu domova pro seniory, jenž byl postaven v prostorách bývalého zámeckého parku.