Felix Woyrsch vokste opp i Dresden og senere i Altona. Han hadde ikke råd til å studere ved en musikkhøyskole, så han utdannet seg selv. Han fant sin plass i Altona og ble i 1887 korleder av «Altonaer Liedertafel». I 1893 ble han leder av Altonaer kirkekor. Han overtok ledelsen av koret «Altonaer Singakademie» i 1895, og ble så først organist i Friedenskirche i Hamburg-St. Pauli og deretter på St. Johannis (Altona).