Op dezelfde plaats stond al voor 1300 hofstede of kasteel Diepenburch, maar deze woonstee is mogelijk tijdens de Hoekse en Kabeljauwse twisten in 1351 verwoest, hoewel zij in 1373 nog wordt genoemd. Van de ringgracht zijn nog altijd resten te zien rond 't Kraaijenest.