In 1286 vrogen de breurs Henric en Diesderic Borre toostemming an graaf Floris V om bi-j et darp Amerongen n verstarkt hoes te bouwen. De breurs bunt de groandleggers van et noe ruum 700 joar olde kasteel. Et noageslacht van de breurs van Borre ging de geskiednis in met den name Borre van Amerongen. An de ene kante van et kasteel ligt de uuterweerden van den Nederrien en an de andere kante ne landrugge woar verkeer oaverhen ging. Vanof dizze plaetse konden zie de skeepvoart en et aandere verkeer toozeen. Umdat dit den Hartog van Gelre nen doorn in et oge was, veel hi-j in 1427 et kasteel an en verwoosten et. Et kasteel wödden noa dizze verwoosting groter en starker herbouwd. Doarnoa wodden et kasteel nog vaker an-evallen. Noadat de familie Borre van Amerongen was uut-estoarven kwam et kasteel in hende van verskillende adelleke families.