Jan Keller se narodil v Brně v rodině Josefa Kellera a Eleonory, rozené Tardyové, jako třetí ze čtyř sourozenců. Po skončení války se rodina přestěhovala do Prahy. Jan Keller vyrůstal v prostředí evangelické církve, v Praze na něj měl velký vliv vinohradský sbor této církve, zejména tamní tehdejší vikář Jan Šimsa. Rozhodl se studovat teologii a v letech 1959–1964 absolvoval Komenského evangelickou teologickou fakultu. Po studiu šel na dva roky na vojnu do Milovic, po návratu se na podzim 1966 oženil s Martou, rozenou Novotnou. Poté se přestěhovali do Kdyně na Šumavě, Keller zde jako duchovní nastoupil do svého prvního sboru od prosince 1966. Jeho předchůdcem zde byl Jakub Schwarz Trojan, jenž měl spolu s dalšími staršími kolegy z hnutí Nová orientace na něho velký vliv. Po srpnu 1968 byl Keller s rodinou několik měsíců v západoněmeckém Mainz-Kastelu, kde v rámci „Semináře pro církevní službu v průmyslové společnosti“ pracoval v továrně a zároveň mezi dělníky působil jako farář. Po začátku normalizace na jaře 1969 se rodina vrátila zpátky. V roce 1971 změnil farářské působiště a přestěhoval se do Jimramova. Na jaře 1977 podepsal i s ženou Martou Chartu 77 a k 31. březnu 1981 ztratil státní souhlas k výkonu duchovenské činnosti. Od září 1981 ještě mohl působit v západočeském Černošíně, kam se přestěhoval, ale s koncem roku 1983 mu byl souhlas odebrán i zde. O prázdninách v roce 1983 organizoval v blízkém Zhořci dětský tábor, kvůli čemuž byl souzen, že tábor organizoval bez souhlasu okresního církevního tajemníka a porušil tím § 178 trestního zákona, soud ale nakonec vyhrál. V roce 1984 se s rodinou přestěhoval na statek Zbytov u Jimramova, který v roce 1978 zakoupili společně s manželi Dorkas a Vojenem Syrovátkovými, a Zbytov se stal místem setkávání evangelické mládeže. Keller pracoval v dělnických profesích, např. na pile či jako topič.