Sirhan kom fra en kristen palestinsk familie som flyttet til USA da han var 12 år gammel. Familien bodde først i New York, men han har hovedsakelig bodd i California, hvor han fikk sin skolegang i Pasadena i Los Angeles. Han arbeidet fra 1965 i stallen til i Arcadia i California.