Вперше титул графа Суррей був наданий у 1088 р. нормандському лицару Вільгельму де Варенну, учаснику битви при Гастінгсі та нормадського завоювання Англії. Оскільки в самому Сурреї земельні володіння у Вільгельма та його нащадків були незначними, носіїв цього титулу іноді називають графами Варенн. Пряма лінія нащадків Вільгельма закінчилась у 1199 р. зі смертю Ізабелли де Варенн, 4-ї графині Суррей. Після цього графський титул перейшов до її четвертого чоловіка Гамеліна, зведеного брата англійського короля Генріха ІІ, який теж прийняв прізвище де Варенн. Ця лінія, в свою чергу, обірвалася у 1347 р., після чого графом Суррей став племінник Джона де Варенна, 8-го графа, Річард Фіц-Алан, 10-й граф Ерандел. За участь у повстаннях проти короля Річарда ІІ, Фіц-Алани були позбавлені титулу графа Суррея у 1397 р., але після приходу до влади Генріха Ланкастерського, чиїм активним прихильником був Томас Фіц-Алан, у 1400 р. йому було повернуто титул графа Суррея. В цей перехідний період (1397—1400) існував титул герцога Суррея, що належав одному з соратників Річарда ІІ Томасу Холанду. Після смерті бездітного Томаса Фіц-Алана титул перестав існувати.