В 2005 году Чертофф был назначен министром внутренней безопасности во второй президентской администрации Буша-младшего. Во время работы на этой должности Чертофф имел дело с двумя основными проблемами: регулированием иммиграции и противостоянием стихийным бедствиям. Министр придерживался жесткой линии в отношении нелегальных мигрантов. Политика в этом направлении включала ряд программ: борьбу с организациями, нанимающими нелегалов; создание заграждений на американо-мексиканской границе; повышение уровня безопасности в портах и аэропортах. На направлении противостояния стихийным бедствиям Чертоффа постигла крупная неудача: действия его министерства во время и после урагана «Катрина» в 2005 году были признаны неудовлетворительными.