Budry ble født i Vevey, studerte teologi i Lausanne og virket som pastor i Cully og Sainte-Croix mellom 1881 og 1889. Han ble så pastor i frikirken i Vevey i 35 år, før han gikk av med pensjon i 1923. I tillegg til å skrive egne salmer, oversatte han tyske, engelske og latinske salmer til fransk. Noen av hans salmer ble plukket ut til som kom ut i 1885. Han døde i Vevey og er begravd i Cully.