Milne ble kontroversiell som generaldirektør, og Thatcher-regjeringen var spesielt kritisk til ham. Han ble presset til å gå ut av BBCs styre, og ble etterfulgt av sin stedfortreder Michael Checkland.