Первісний замок було побудовано у Ґожанові у середньовіччі, на північ від нинішньої будівлі та зруйновано під час гуситських війн. Остаточно його розібрали у 1804 році. Новий палац на теперішньому місці почали будувати близько 1573 року, а до теперішніх розмірів його розширили у 1653—1657 роках під керівництвом Вавжинця Нікели, а пізніше Андреа Карове. У 1735 році замок було перебудовано, про що свідчить дата на замковій вежі, а після 1900 року було відремонтовано весь комплекс, особливо оздоблення зовнішніх фасадів. Майже 300 років замок слугував родовою садибою Герберштейнів. У 1945 році замок було націоналізовано польською владою, а з 60-их років ХХ століття він був покинутий і поступово занепадав, внаслідок чого обвалилася частина південного подвір'я. У 2012 році власником замку стала Фундація Палац Ґожанув, яка розпочала ремонт замку.