Unter dem Namen Alexander Stepanowitsch Grinewski geboren, war er der Sohn eines verbannten Teilnehmers des polnischen Aufstandes von 1863. Er schloss 1896 seine Schulausbildung in Wjatka ab, ging dann nach Odessa und begann ein Leben als Vagabund. Er schlug sich in den verschiedensten Berufen durchs Leben, unter anderem als Goldwäscher im Ural, als Matrose, wobei er mit vielen Häfen und Sprachen in Berührung kam, und als Fischer. Häufig war er jedoch ohne Arbeit und musste betteln gehen. Ein wenig finanzielle Hilfe erhielt er durch seinen Vater.