28 марта 1904 года Григорович был произведён в контр-адмиралы с назначением командиром порта Порт-Артур. В этой должности пробыл всю осаду крепости. Благодаря административным способностям Григоровича и заведённому им образцовому порядку во всех областях портового хозяйства, флот до конца осады ремонтировался, не знал недостатка в угле, материалах снабжения и боевых запасах. После падения Порт-Артура, И. К. Григорович прибыл в Петербург и был временно прикомандирован к Главному морскому штабу. Награждён орденом Святого Станислава 1 степени с мечами.