Xudeidi ble født i Berbera i 1928 men fikk sin oppvekst i Aden-protektoratet (Jemen), der faren var politisersjant. Xudeidi var alltid fascinert av musikk, og ble betatt av strengeinstrumentet oud da faren tok ham med på et selskap i Aden der en arabisk mann spilte på det. Han lærte seg å spille på det fra Abdullahi Qarshe, som rådet Xudeydis far til å kjøpe et instrument og plekter til sin sønn, såvel som bøker og skrivesaker til den skolegang han burde få.