Ekskomunika Rongego dała mu impuls do stworzenia nowej wspólnoty katolickiej niezależnej od Rzymu. W tym samym czasie nawiązał współpracę byłym księdzem katolickim Janem Czerskim z Piły, który również został ekskomunikowany i założył własną wspólnotę – Gminę Chrześcijańsko-Katolicką (). W roku 1845 Ronge rozpoczął we Wrocławiu tworzenie pierwszej gminy niemieckich katolików. W następnych latach odbywał podróż po krajach północnych i środkowych Niemiec pozyskując nowych wiernych do swojej wspólnoty i zakładając nowe gminy niemieckich katolików. W roku 1847 wspólnota liczyła już 259 gmin skupiających około 60 tysięcy wiernych. Działalność Rongego zyskała w tym czasie pewne poparcie kościoła ewangelickiego, który użyczał swoich świątyń dla nowo utworzonych gmin, a także ciche przyzwolenie władz państwowych. Johannes Ronge zaangażował się także w działalność polityczną w okresie rewolucji marcowej, jednak już rok później z powodu krytyki króla Prus Fryderyka Wilhelma IV został zmuszony do emigracji.