Oorspronkelijk ontstaan in de 12e eeuw als boerderij, spreekt men in de 14e eeuw van een versterkte waterburcht. Het kasteel diende vroeger als voorpost en verdedigingsbolwerk van de stad Gent aan de Leie. Het werd de zetel van de heerlijkheid Nevele na 1381 en kwam in bezit van een tak van de Franse familie Montmorency. Het slot werd door de Gentenaars verwoest in 1491, tijdens de Vlaamse Opstand tegen Maximiliaan. In de 16e eeuw woonde Filips van Montmorency er, de graaf van Horne die in 1568 op last van de Spaanse heerser onthoofd werd. In 1579, in de periode dat Gentse opstandelingen Filips II van Spanje als graaf van Vlaanderen hadden afgezet, werd het nogmaals verwoest. In 1592 werd de ruïne opgekocht door Maarten della Faille die het liet herbouwen tot kasteel in renaissancestijl. Door huwelijk kwam het kasteel in het bezit van de familie Du Bois.