25 июля 1810 года Колвилл был повышен в чине до генерал-майора, после чего сразу же попросил о переводе на Пиренейский полуостров, где уже несколько лет происходили основные военные действия между англичанами и французами. В октябре 1810 года он принял командование 1-й бригадой 3-й дивизии генерала Томаса Пиктона. Колвилл командовал своей бригадой в битве при Фуэнтес-де-Оньоро и Сьюдад-Родриго, а также во время второй и третьей осады Бадахоса, к 1812 году став командиром дивизии.