С 1998 года — в центральном аппарате ФСБ России, первый заместитель начальника Управления военной контрразведки ФСБ России, руководил органами контрразведки в Военно-морском флоте. В 1999 году — первый заместитель начальника 2-го Департамента ФСБ (защита конституционного строя и борьба с терроризмом), в ноябре того же года стал руководителем этого Департамента — заместителем директора ФСБ. В его подчинении состоял Центр специального назначения ФСБ, в который входили группы «Альфа» и «Вымпел». При непосредственном участии Угрюмова были разработаны и проведены специальные мероприятия в рамках контртеррористической операции в Северо-Кавказском регионе, в результате которых были обезврежены многие руководители и активные члены бандформирований. С его именем связывают, например, бескровное взятие Гудермеса в декабре 1999 года, захват Салмана Радуева в марте 2000 года, освобождение заложников в посёлке Лазаревское под Сочи в ноябре 2000 года. Вице-адмирал (2000).