Zeker is dat het in het midden van de 14e eeuw volledig herbouwd werd op oude funderingen.
Waarschijnlijk werd het kasteel in 1426 door Haarlemse poorters opnieuw verwoest. In 1461 werd het kasteel gedeeltelijk hersteld. Door plundering en brandstichting door Spaanse soldaten in 1573 raakte het kasteel in verval en verdween het geleidelijk onder stuifzand van de nabijgelegen Kennemerduinen.
Met het beschermen van de toen volledig ondergestoven ruïne werd in 1862 begonnen. Een deel van de tijdens die werkzaamheden gevonden gebruiksvoorwerpen wordt nu in de donjon van de ruïne tentoongesteld.
Het ruïne complex bestaat voor het grootste deel uit gedeeltelijk bewaarde muren op twee eilanden: de vierkante hoofdgebouw, een restant van de voorburcht en uiteraard het terrein zelf.