Musharraf ble født i Nahr wali Haveli, som ligger i Kacha Saad Ullah Mohallah i Daryaganj i Delhi i [Britisk India. Han kom fra en embedsmannsfamilie. Han flyttet med foreldrene sine til Pakistan i forbindelse med at den britiske kolonien ble delt og etterfølgerstatene fikk selvstendighet i 1947. Faren, Syed Musharraf Uddin, gikk inn i den pakistanske utenrikstjenesten og endte til sist opp som utenriksminister. Moren, Zarin, endte opp som embedskvinne i FN-systemet.