Khalid al-Mihdhar syntyi merkittävään perheeseen Mekassa toukokuussa 1975. Hänen nuoruudesta ei tiedetä juurikaan, mutta 20-vuotiaana Mihdhar ja hänen lapsuudenystävä Nawaf al-Hazmi matkustivat Bosniaan taistellakseen mujahideenien rinnalla Bosnian sodassa. Sodan jälkeen kaksikko jatkoi Afganistaniin, missä he liittyivät Talibanin taisteluun Pohjoista liittoa vastaan ja al-Qaida kutsui häntä myöhemmin toiseksi komennossa. Vuonna 1997 Mihdhar kertoi perheelleen lähtevänsä taistelemaan Tšetšeniassa, mutta hänen todellisesta osallistumisesta taisteluun ei ole varmuutta. Samana vuonna saudien tiedustelupalvelu kiinnostui kaksikosta, sillä he uskoivat näiden salakuljettavan aseita maahan. Seuraavana vuonna heitä pidettiin silmällä myös osuudesta lähetystöpommi-iskuihin Itä-Afrikassa.