Trabalho de Passy pela paz começou durante a guerra da Criméia (1853-56). Seu apelo pela paz no periódico "Le Temps" (1867) ajudou a evitar a guerra entre a França e a Prússia sobre o Luxemburgo. No mesmo ano, fundou a Liga Internacional para a paz, mais tarde conhecido como o sociedade francesa para a arbitragem internacional. Após a guerra Franco-alemã (1870-71) declarou independência e neutralidade permanente para a Alsácia-Lorena. Como membro da Câmara dos deputados franceses (de 1881), com sucesso instou a arbitragem de uma disputa entre a França e os Países Baixos relativo a fronteira da Guiana francesa, Suriname. Ele ajudou na fundação da União Interparlamentar (1888) e permaneceu ativo no movimento de paz para o resto da sua longa vida.