Som barn falt Tárrega ned i et avløpssystem og skadet øynene, og faren fryktet at han aldri ville kunne jobbe. Familien flyttet da til provinshovedstaden, siden faren mente at sønnen ville kunne forsørge seg som musiker selv om han var blind. Faren spilte selv gitar, blant annet flamenco, men insisterte både på at sønnen skulle ha en annen lærer, og at han skulle lære både piano og gitar. Den blinde musikeren Eugeni Ruiz ble Tárregas første musikklærer. Senere møtte han en annen blind lærer; Manuel González, også kalt , som introduserte gitaren for Tárrega.