Vasco de Quirogas adelige slektsbakgrunn var fra Galicia. Hans bror Álvaro ble far til Gaspar de Quiroga y Vela, aom skulle bli kardinal og erkebiskop av Toledo.