Ричард Грей был младшим из двоих сыновей сэра Джона Грея из Гроуби и Елизаветы Вудвилл. Ричарду было три года, когда его отец, воевавший на стороне Ланкастеров, был убит во второй битве при Сент-Олбансе. Через три года мать Ричарда тайно вышла замуж за короля Англии Эдуарда IV из дома Йорков. Первое публичное появление мальчика состоялось во время празднований в 1474 году в честь его единоутробного брата Ричарда, провозглашенного герцогом Йоркским; четыре года спустя он участвовал в свадебных торжествах по поводу бракосочетания Ричарда Шрусбери и Анны Моубрей.