Holger Rørdam var sønn av den kjente presten Hans Christian Rørdam. Han ble student i 1847 og "cand. theol." i 1853, men kastet seg så over historiske studier. Hans første historiske avhandling var «De danske og norske Studenters Deltagelse i Kjøbenhavns Forsvar mod Karl Gustaf» (1855). 1860–64 var han sogneprest i Angel. Etter krigen bodde han en tid i København, før han i 1869 ble prest i Kornerup og Svogerslev på Sjælland. Fra 1883 var han prest i Brændekilde og Bellinge på Fyn, og fra 1883 i Lyngby ved København.