Julián Gayarre kom fra enkle kår i Valle de Roncal i Navarra. Han begynte sin yrkeskarriere som gjeter. 15 år gammel sendte faren ham til Pamplona for å arbeide i en liten butikk, og det var i denne byen han fikk sin første befatning med musikk. Lidenskapen for musikk førte til at han ble sagt opp etter at han fulgte et orkester som paraderte i gatene utenfor. Senere arbeidet han som smed. En kollega som hørte ham synge oppmuntret ham til å melde seg inn i byens nystiftede kor. Han ble raskt førstetenor, senere ble han sendt til Madrid der han studerte ved konservatoriet. Provinsmyndighetene i Navarra gav ham senere et stipend så han kunne studere ved konservatoriet i Milano.