Området var opprinnelig en del av stamhertugdømmet Sachsen (804–1260). Etter delingen av Sachsen 11. april 1180 ble hertugrettighetene til det westfalske landskapet overført erkebiskopen av Köln, noe som var den sentrale forutsetning for utviklingen av landet. Hertugdømmet omfattet først et lite område sør for elven Lippe. Over tid utviklet erkebiskopene de opprinnelige hertugrettigheter – som framfor alt var en herskerrett over mennesker – til å bli en territorialrett over et lukket område. Slik rådde erkebiskopene først over geografisk atskilte områder, særlig i nord og øst, men også i sørvest. Kjøpet av det mellomliggende grevskapet Arnsberg i 1368 gjorde området geografisk sammenhengende. Etter Soestfeiden (1444–1449) stoppet utvidelsen av territoriet opp og hertugdømmets grenser forble i hovedsak uendret helt til frem oppløsningen av det tysk-romerske rike i 1803.