Mosley ble født i Watts i Los Angeles i California. Hans mor Ella (pikenavn Slatkin) var en polsk jøde som arbeidet som kontorassistent, og hans far Leroy Mosley (1924–2005), varen afroamerikaner fra Louisiana, leder for vaktmesterne ved en offentlig skole i Los Angeles.