Восіп Мандэльштам нарадзіўся 3 студзеня (15 студзеня паводле новага стылю) 1891 года ў Варшаве. Бацька, Эміль Веньямінавіч (1856—1938), быў майстрам пальчаткавай справы, быў купцом першай гільдыі, што давала яму права жыць па-за мяжой аселасці, нягледзячы на яўрэйскае паходжанне. Маці, Флора Восіпаўна Вярблоўская, была музыкантам.