Khan var en av de mest høylytte tilhengerne av Pakistan og representerte Pakistan i Radcliffes grensekommisjon. Han flyttet til Karachi i august 1947, og ble medlem av Pakistans første regjering. Han var Pakistans øverste diplomat helt fram til 1954 da han dro for å tjenestegjøre i Den internasjonale domstolen. Han var dommer ved den Den internasjonale domstolen i perioden 1954 til 1961 og også visepresident i perioden 1958–1961. Han forlot Haag i 1961 for å bli Pakistans faste representant i FN, en posisjon han hadde fram til 1964, og han var president for FNs generalforsamling i perioden 1962–1963.