Tijdens de Hoekse en Kabeljauwse twisten besloot Willem VI, graaf van Holland in 1404 een aanval te doen op Jan van Arkel. Frederik van Blankenheim, bisschop van Utrecht, sloot zich hierbij aan. Everstein werd op 11 december 1405 ingenomen en in brand gestoken. Het kasteel werd daarna tot de grond toe afgebroken.