En 1550 el marqués fue designado virrey del Perú y Ramírez Dávalos lo acompañó a su nuevo destino, llegando a Lima en septiembre de 1551, en donde fue designado mayordomo de palacio y capitán de la guardia.