Иван Андреевич родился года в Москве, в семье бедного армейского офицера А. П. Крылова. Во время Пугачёвского восстания отец Крылова служил армейским капитаном в Яицкой крепости. Его жену Марию Алексеевну с маленьким сыном Иваном отправили в Оренбург, который, однако, также вскоре был осаждён. Когда в 1774 году Яицкая крепость попала в окружение, её комендант Симонов оробел, и тогда командование принял на себя «капитан Крылов, человек решительный и благоразумный. Он в первую минуту беспорядка принял начальство над гарнизоном и сделал нужные распоряжения». Захватив городок, восставшие так и не смогли взять крепости, отделенной от посада рвом и высоким валом и удерживаемой гарнизоном во главе с капитаном Крыловым. Мать и сын Крыловы были в пугачёвских списках приговорены к повешению, им пришлось скрываться. Этот эпизод отразил со слов Ивана Андреевича А. С. Пушкин в своём труде.