Народився 10 вересня (22 за новим стилем) 1893 року в місті Новочеркаськ, столиці Донського козацтва, Ростовської області Російської імперії. Батьком був Федір Петрович Лосєв вчитель у гімназії, талановитий математик, здібний скрипаль, диригент і хормейстер. Його заслуги відмічав навіть імператор Олександр III. Однак, будучи людиною богеми, він покинув родину, коли Олексію виповнилося три місяці. Мати — Наталя Олексіївна, дочка настоятеля місцевого храму Михаїла Архангела, була відома як навпаки особа побожна і строга. Саме вона і виховувала Олексія. По материнській лінії його предки були військовими, учасниками російсько-турецької та французько-російської війн.