Hijo de un pintor miniaturista de origen flamenco llamado Antonio de Holanda, inmigrante holandés, y de madre portuguesa perteneciente a una familia aristocrática, Holanda se educó en la corte de Évora en la casa del infante don Fernando, animada por un nutrido grupo de humanistas, aunque él —según dice en "De pintura antigua"—, aprendió a escribir y a dibujar de su natural, sin maestro alguno.