Fue hijo de Rodrigo de Moscoso Osorio, V conde de Altamira, y de Isabel de Castro, hija de Fernando Ruiz de Castro, IV conde de Lemos, I marqués de Sarria, y de Teresa de Andrade Zúñiga y Ulloa, III conde de Villalba, II condesa de Andrade.