W XVII w. niezgospodarowane obszary w dolinie Wisły objęli w użytkowanie czynszowe olędrzy, którzy stosowali meliorację w celu odwodnienia terenów. Około 1600 roku osiedli w Czarżu również Niemcy wyznania luterańskiego, którzy trudnili się rzemiosłem ciesielskim i tkackim. We wsi dwa razy w roku (wiosną i jesienią) odbywały się jarmarki organizowane na zachowanych do dzisiaj w centrum Czarża dwóch placach. 14 maja 1626 zredagowano wilkierz (ordynację wiejską) Czarża. W tym czasie na terenie wsi funkcjonował samorząd wiejski na czele z sołtysem, któremu właściciel dóbr przydawał przysiężnych. W 1638 nadbudowano wieżę kościelną, a w 1647 ponownie konsekrowano kościół parafialny. Wojny polsko-szwedzkie spowodowały duże zniszczenia w obrębie wsi oraz zmniejszenie się liczby mieszkańców wyznania katolickiego z 1000 do 250. W 1656 runęła wieża kościelna, którą odbudowano dopiero w 1974 roku.