Andrej Razumovskij var sønn av marskalk Kirill Razumovskij, den siste hetman over zaporizjakosakkene, og av Katarina Narysjkina, en kusine av keiserinne Elisabeth av Russland. Han var også brorsønn av Aleksej Grigorievitsj Razumovskij, kalt «nattens keiser». Han fikk utdannelse hjemme av strassburgeren Ludwig Heinrich von Nicolay.