Etter at hans far overtok herredømmet over hele emiratet Abu Dhabi den 18. september 1966, ble Khalifa bin Zayid Al-Nahyan hans representant i emiratets østlige distrikt, med administrativt sete i Al Ain, og den 1. februar 1969 ble han farens etterfølger i østdistriktet. Da Abu Dhabis stridsmakt ble etablert den 2. februar 1969, ble han forsvarsminister, og overvåket oppbyggingen av militærmakten. Ved nyorganiseringen av regjeringen i Abu Dhabi den 1. juli 1971 ble han statsminister tillike med finans- og forsvarsminister.