Walker ble født i Glendale i California og vokste opp i San Fernando Valley-området i Los Angeles County. Han var sønn av mannekengen Cheryl og kloakk-entreprenøren Paul Walker III. Faren hadde vært amatørbokser og vunnet to Golden Gloves-statuetter. Farfaren hadde vært profesjonell bokser i en kort periode, og gikk da under navnet «Irish Billy Walker». Walker var eldst av fem barn, og hadde to brødre og to søstre. Han ble oppdratt som mormoner og gikk på Village Christian School, før han begynte på universitetet og tok hovedfag i marinbiologi.