Izvolsky kom fra en aristokratisk familie av polsk avstamning. Han ble uteksaminert fra lyceet i Tsarskoje Selo ved St. Petersburg med utmerkede resultater. Kort etter giftet han seg med grevinne von Toll, hvis familie hadde utmerkede forbindelser innen tsarens hoff.