થોડાં જ સમયમાં કાદર ખાનના માતા-પિતાના છુટાછેડા થઈ ગયા અને ઓરમાન પિતાની સાથે કાદર ખાનનું બાળપણ ગરીબીમાં પસાર થયું.