Hans far, Pavel Annenkov, kom fra en velstående jordeierfamilie og var en ledende litteraturkritiker i Russland og nær venn av Nikolaj Gogol og Ivan Turgenejev. Pavel Annenkov hadde også forbindelser med Karl Marx, Fjodor Dostojevskij og Leo Tolstoj. Annenkov møtte Isaak Babel flere ganger i Paris og de to brevvekslet.