I perioden 1527–1642 ble Harburg residens for en sidelinje av hertugdømmet Braunschweig-Lüneburg, og i 1642 kom byen tilbake til hertugdømmets hovedlinje. Hertugene fra Celle oppførte et slott og en festning i Harburg. I 1705 ble byen en del av kurfyrstedømmet Hannover.