バプテストとの関係.
しかし、ウィリアムズはマサチューセッツからの追放以前は反幼児洗礼の考え方を採り入れなかった。というのも反幼児洗礼の考え方はウィリアムズに敵対する者によって挙げられたウィリアムズの非難項目に入っていなかったからである。マサチューセッツのウィンスロップ知事は、ウィリアムズの再洗礼派の考え方がアン・ハッチンソンの姉妹で信仰至上主義者のキャサリン・スコットの影響によるものとしていた。反幼児洗礼主義者としてプロビデンスに来たエゼキエル・ホリマンがスコット夫人とともにウィリアムズに洗礼を信じることの重要さを吹き込んだ可能性がある。
ウィリアムズはプロビデンスの小さな教会に数ヶ月しか留まらなかった。背教行為で失われていた儀式は特別の神聖な任務無くして有効に復活させられないと確信するようになり、出発に際して次のような声明を残した。
この世で規則通りに作られたキリストの教会は無いし、また教会の儀式を監督するように資格付けられた者もいない。新しい使徒が教会の偉大な首長によって派遣されるまでそれらは有り得ない。使途の来迎を私は求めている。
ウィリアムズは「求める者」すなわち「脱退者」の姿勢を取り、キリストの真実を伝えることに常に信仰深く活動的であったが、どのキリスト教会も真の教会のあらゆる印を得ていないと、満足することがなかった。ウィリアムズはバプテストとの友好的な関係は続け、他の多くの事と同様に幼児洗礼に反対することに同意していた。
ウィリアムズの宗教的また教会に対する態度は次の文章に良く表されている。