Земли Карслуита принадлежали семье Кэрнс до 1460 года, после этого они перешли к Джеймсу Линдси из Фэргирта, Чемберлену Галлоуэйскому. Он был строителем главной башни в Карслуите в конце XV или начале XVI века. Его сын, сэр Герберт Линдсей, был убит в битве при Флоддене в 1513 году. Затем замок перешёл к Ричарду Брауну.