Erhard Jakobsen var også medlem av Europaparlamentet fra 1973 til 1987 og fra 1988 til 1994. Han var tilsluttet Det europeiske folkepartiets gruppe.