Harrer studerte musik i Leipzig og Italia. Fra 1731 var han medlem av kapellet til riksgreve og denne bisto Harrer i å få posten som thomaskantor etter Bachs død.