I 2001 ble Nordby utnevnt til direktør i Utlendingsdirektoratet, og i november samme år grep han personlig inn for å gi søsteren til Ap-politiker Rubina Rana opphold i Norge. Han trakk seg fra stillingen i 2006. Den 22. mai 2006 leverte Graver-utvalget en granskingsrapport som omhandlet Nordbys tid i UDI. Han fikk da sterk kritikk for å ha innført en praksis når det gjaldt behandling av asylsaker som var i strid med utlendingsloven og politiske vedtak.