Da das Castle über Jahrhunderte entstanden ist, waren viele Herrscher an der Entstehung beteiligt. Eine führende Rolle wird König David I. von Schottland zugeschrieben.