Khader ble født i landbyen Poovachal i det som senere ble distriktet Thiruvananthapuram i Kerala. Hans foreldre var Aboobacker Pillai og Rabiyathul Adabiya Beevi.