Проявив мужество во время усмирения пугачёвского бунта, отец Ивана Крылова не получил никаких наград и чинов. После выхода в отставку он поступил на гражданскую службу и переехал с женой и двумя сыновьями, Иваном и Львом, в Тверь. Должность председателя магистрата не приносила большого дохода, семья жила в бедности. Поэтому восьмилетний Иван начал работать подканцеляристом в уездном суде. В 1778 году отец умер, финансовое состояние вдовы с детьми стало ещё более тяжёлым.