Nach dem zweiten Teil der anglonormannischen Invasion Irlands 1171 verlehnte König Heinrich II. 80 Hektar Land an "Patrick Babe", der dort einen befestigten Turm auf einem Hügel innerhalb des Geländes errichten ließ. Die ursprünglichen Gebäude waren aus Holz; der bis heute erhaltene, steinerne Turm stammt aus der Zeit um 1432. Zwar war die Burg auf eine Belagerung vorbereitet, gibt es keine Hinweise darauf, dass eine Belagerung von Darver Castle jemals stattgefunden hätte.