Após a morte de seu pai e do seu irmão Edmundo, Conde de Rutland, em 1450 na Batalha de Wakefield, Ricardo foi enviado por sua mãe junto com o irmão Jorge para os Países Baixos. Eles voltaram para a Inglaterra após a derrota dos Lencastre na Batalha de Towton, participando da coroação do irmão mais velho como Eduardo IV em 1461. Nessa época, Ricardo foi nomeado Duque de Gloucester além de entrar para a Ordem da Jarreteira e Ordem do Banho. Ele então foi enviado para a propriedade de Warwick para seu treinamento de cavaleiro. Ricardo ficou em Middleham, com algumas interrupções, até 1465, quando tinha doze anos. Durante sua adolescência ele desenvolveu escoliose idiopática.