Lindberg var organist i sin hjembygd fra 14-årsalderen og studerte ved Kungliga Musikhögskolan i Stockholm fra han fylte 16. Han var fra 1906 organist i Trefoldighetskirken i Stockholm og fra 1914 i Englebretskirken til sin død.