Ante la ausencia de sus padres, Robert fue enviado como pupilo de Jon Arryn, Señor del Nido de Águilas y que carecía de hijos.