Opprinnelig var Rowan County et vidstrakt landområde med en uklar vestlig grense. Reduksjonen av fylkets omfang begynte i 1770 da den østlige delen ble kombinert med den vestlige delen av Orange County for å bli Guilford County i North Carolina. I 1771 ble den nordøstlige delen av hva som var igjen av Rowan County til Surry County. I 1777 ble den vestlige delen av Rowan County til Burke County. I 1788 ble den vestlige delen av det nå meget smale fylket til Iredell County. I 1822 ble den østlige delen av det fortsatte minskede fylket til Davidson County. Endelig, i 1836 ble en del av fylket nord for elven South Yadkin River til Davie County. Festivalen «250 Fest» feiret fylkets 250-årsjubileum i 2003.