Paul Martens ble allerede i 2001 tysk juniormester i lagforfølgelse på bane. I 2005 ble han tysk U23-mester på tempo. Deretter syklet han fra august for T-Mobile Team som stagiaire, men fikk imidlertid ingen kontrakt den følgende sesongen. Han ble i stedet en del av det nederlandske profesjonelle kontinentallaget Skil-Shimano. Sin første profesjonelle seier fikk han i 2006 med en etappeseier i Luxembourg rundt. Fra 2008 fikk han kontrakt med det nederlandske laget Rabobank.