Mukasey in precedenza aveva svolto per 18 anni le funzioni di giudice federale presso la corte del distretto meridionale di New York, di cui è anche stato giudice capo per sei anni. In quella veste si occupò delle prime indagini sul terrorismo internazionale negli USA, a partire dall'Attentato al World Trade Center del 1993 e culminando con l'arresto di José Padilla.