Après la mort soudaine du bourgmestre Andreas Zelinka, il est élu bourgmestre de la ville le . Son adversaire est Julius Newald qui deviendra son adjoint. Réélus trois fois, Felder occupa le poste jusqu'en . De 1869 à 1880, il fut également vice-président du "Landtag" en Basse-Autriche. Pendant son mandat, la première pierre du nouveau hôtel de ville sur le Ring a été posée en 1872 et l'Exposition universelle de 1873 s'est déroulé à Vienne.