Il publia dans la prestigieuse "Pensée russe" des nouvelles ("Désintégration", 1907, et "Le Citoyen Oukleïkine", 1908) qui furent remarquées et le firent entrer dans les milieux littéraires. En 1909, il entra dans le cercle littéraire moscovite "Le Mercredi", où il côtoya entre autres Gorki et Bounine. En 1911, son roman "Garçon de restaurant" lui valut une nouvelle et très grande notoriété. De 1912 à 1914 il écrivit de nouveau des récits et des nouvelles, dont la plus célèbre est "La Face cachée" (1916). S'il vit avec enthousiasme la révolution de février 1917, qui répondait à ses préoccupations sociales, il rejeta fermement celle d'Octobre. Il s'installa en Crimée en 1918, où il vécut la terreur rouge et la funeste famine de 1921 à 1922. Il raconta ces événements plus tard dans le "Soleil des morts", journal d'un homme qui est en quelque sorte son double, que beaucoup considèrent comme son chef-d'œuvre. Son fils, ancien officier, fut arrêté et fusillé en 1921. Chmeliov partit alors en exil et, comme beaucoup d'écrivains qui formèrent une communauté unie dans la dénonciation du nouveau régime russe, s'installa en France en janvier 1923.