曼德爾施塔姆出生在俄罗斯帝国波兰会议王国华沙的一個富裕的猶太家庭。他的父親從事皮貨生意，所以能被分配栅栏区一個殖民圍欄的名額。奧西普出生不久，他們全家都搬到聖彼得堡。在著名的特尼切夫斯基學校學習，這個學校的校友還包括納博科夫等蘇聯名人。他的第一首詩在1907年發表於校刊上。