В 1955 году Карл Карстенс вступил в Христианско-демократический союз (ХДС). В июле 1960 Карстенс поступил на государственную службу в качестве статс-секретаря министерства иностранных дел ФРГ. Участвовал в переговорах о создании ЕЭС и Евратома. Подчёркивал заинтересованность в установлении дружественных отношений с Францией, доказывал абсурдность франко-германской вражды на примере судьбы своего отца, «погибшего в стране, которую любил, в которой учился, на языке которой свободно говорил». Занимался также Берлинским кризисом, отношениями с ГДР, участием ФРГ в НАТО, формулировал позиции ФРГ по Вьетнамской войне и Ближневосточному конфликту.