Clemen ble født som sønn av professoren Christian August Julius Clemen (1838–1920) og hans kone Helene Voigt (1842–1907). Hans to brødre Carl og Otto ble fremtredende vitenskapsmenn innenfor henholdsvis teologi og historie.