Annan aloitti työnsä YK:ssa vuonna 1962 budjetinlaskijana WHO:ssa. Vuosina 1974–1976 hän työskenteli Ghanan matkailuministeriössä, kunnes sai paikan YK:n apulaispääsihteerinä. Annan oli YK:n apulaispääsihteeri, kun Ruandan kansanmurha tapahtui vuonna 1994. Kanadalainen YK:n kenraali Roméo Dallaire syytti Annania passiivisuudesta kansanmurhan aikana. Hän itsekin sanoi, että puuttumattomuus kansanmurhaan oli hänen uransa suurin virhe. Annan työskenteli jonkin aikaa YK:n edustajana Jugoslavian sotien jälkiselvittelyssä.