Nach Kriegsende machte Joel Berger eine Feinmechanikerlehre, studierte ab 1955 Jura, Geschichte und Pädagogik in Debreczin (nach anderen Angaben in Szeged). Aufgrund einer angeblichen Beteiligung am Ungarischen Volksaufstand 1956, die er selbst jedoch dementiert, kam er zunächst eine Zeit lang ins Gefängnis. Nach seiner Entlassung konnte er jedoch 1957 nach Budapest an das Rabbinerseminar wechseln, sowie zugleich an der Universität in Debrecen Geschichte, Pädagogik und Volkskunde studieren. Nachdem er 1963 das orthodoxe Rabbinerdiplom erlangt hatte, war er zunächst bei verschiedenen ungarischen Verlagen angestellt. Viermal versucht Joel Berger vergeblich, ohne Reisepass illegal aus dem nunmehrigen Ostblockland nach Israel auszureisen.