Potter flyttet til Genève i 1954 for å jobbe i KVs ungdomsavdeling. Han ble hos KV fram til han gikk av med pensjon. Fra 1960 til 1968 var han generalsekretær for World Student Christian Federation, fra 1961 til 1966 var han sekretær for Vest-Afrika og De vestindiske øyer for den britiske metodistkirken og fra 1967 til 1972 hadde han sentrale verv i KV, før ha generalsekretær for KV fra 1972 til 1984. Han ble regnet som en av lederne i verdens økumeniske bevegelse.