Klemens ble født i Roma omkring midten av 1. århundre. Tradisjonen forteller at han var sønn av en Faustinus. I sitt brev til korinterne (se nedenfor) bruker han sitater fra Det gamle testamente på en måte som har fått mange til å mene at han må ha vært av jødisk slekt. Det er store muligheter for at faren var en frigitt slave. Klemens ble oppdratt som hedning, men etter å ha hørt apostelen Barnabas preke, skal han ha blitt omvendt. Apostelen døpte ham og tok ham med til Peter, som skal ha utnevnt ham til sin etterfølger. I enkelte tidlige pavelister nevnes han som den andre pave, men man har kommet til at han var den fjerde.