Lite er kjent om Mudarras tidlige liv, men i innledningen til sin skriver han at han vokste opp i huset til den tredje og fjerde hertug av Infantado, (1461–1531) og (1493–1566) i Guadalajara. Det er rimelig å gå ut fra at Mudarra fikk musikkutdanningen under deres tjeneste. Som ledsager for den fjerde hertug av Infantado var Mudarra sannsynligvis tilstede ved kroningen av Karl V i 1530. Etter hjemkomsten til Spania ble han presteviet og 18. oktober 1546 utnevnt til kannik ved katedralen i Sevilla. Her ble han resten av sitt liv, og i disse 34 årene fikk han stor betydning for byens musikkliv.