Patrick vokste opp i et belastet nærmiljø i Chattanooga i delstaten Tennessee. Han droppet ut av skolen og arbeidet i byens uteliv, men 25 år gammel forlot han sin kone og deres sønn og dro til San Diego i California. På denne tiden oppstod Watts-opptøyene som ble iverksatt i protest mot rasediskriminering, og for sin rolle i her ble Patrick tildelt utmerkelsen , noe som banet vei for at han fikk tildelt en stilling som spesialrådgiver i delstatens administrasjon som ble ledet av Ronald Reagan som da var guvernør.