С 2001 по 2003 год Чертофф занимал пост заместителя министра юстиции, руководил департаментом уголовных расследований. Сыграл значительную роль в реализации контртеррористической политики администрации после терактов 11 сентября 2001 года. Занимался расследованием терактов, под его руководством проводились массовые аресты подозреваемых. Чертофф стал одним из авторов широко известного закона The USA PATRIOT Act. Занимался делами «американского талиба» Джона Уокера Линда и «двадцатого угонщика» Закарии Муссауи. Деятельность Чертоффа в министерстве юстиции стала объектом критики правозащитников.