Nació del matrimonio entre Antonio de Villandrando, músico de cámara del rey, y de Catalina de la Serna, y desde la infancia trabajó en el taller de Juan Pantoja de la Cruz como aprendiz, manteniendo muy buena relación con su maestro hasta la muerte de este último.