Han ble født i en fjern del av Mwingi-distriktet. Mellom 1960 og 1967 studerte han ved Tseikuru Full Primary School. Så reiste han til Kitui High School i Kitui og videre til Meru High School i Meru der han gikk ut med eksamen i 1973. Musyoka fikk en bachelorgrad i rettsvitenskap ved University of Nairobi i 1977. Han fortsatte med videre studier ved Kenya School of Law og Mediterranean Institute of Management på Kypros.