Sharansky ble født som (Анатолий Борисович Щаранский) av jødiske foreldre i Donetsk i Ukrainske SSR i Sovjetunionen. Som barn ble han en dyktig sjakkspiller. Han deltok på simultanoppvisninger i sjakk og på sjakkspill med bind for øyene, vanligvis mot voksne. Da han var femten år gammel vant han sjakkmesterskapet i hjembyen Donetsk. Han studerte matematikk i Moskva.