Osip Mandelstam bodde det meste av livet i St. Petersburg. Hans foreldre var jødisk troende. Faren var lærforhandler og moren klaverlærerinne. I sine unge år foretok Osip reiser til Frankrike (1907) og Tyskland (1908-1910) og leste på Universitetet i Heidelberg.