Han ble født i Baku i Aserbajdsjan (da en del av Sovjetunionen). Som barn lærte han å spille piano av sin mor, som var en dyktig pianist. Hans far var cellist og hadde studert med Pablo Casals. Fra Mstislav var omkring 10 år gammel fikk han lære å spille cello av sin far.