Олексій Крилов народився року в селі Висяга Симбірської губернії в родині Миколи Олександровича Крилова (1830—1911) та Софії Вікторівни Ляпунової. Батько, артилерійський офіцер, учасник Кримської війни 1855—1856 років, здобув освіту казенним коштом як син ветерана, Олександра Олексійовича Крилова, пораненого під Бородіно і при взятті Парижа (нагородженого золотою зброєю за хоробрість і орденами за бойові заслуги).