水野勝成が諸国を放浪した時期は、大きく3つに分けられる。1回目の放浪は、1584年（天正12年）に父・忠重の部下を切り殺して勘当されたことにより始まり、美濃・尾張・京都を放浪している。京都では南禅寺の山門に寝泊まりし、町では無頼の徒と交わり、清水では多くの人を切り殺している。1585年（天正13年）には織田信雄の導きで紀州雑賀攻めと四国征伐（第2次四国征伐）に参加し、その後豊臣秀吉から摂津国豊島郡700石を任される。しかし、まもなく中国地方に逃亡し「六左衛門」と名乗ったとされる（2回目の放浪）。1587年（天正15年）、肥後領主の佐々成政に仕えて九州に渡り、成政の死後は小西行長に仕えた。その次は豊前領主の黒田孝高に仕官したが、1590年（天正18年）孝高の嫡男黒田長政が豊臣秀吉に拝謁するため海路大坂に向かっている途中に、現在の福山市鞆で船を勝手に下りて出奔する（3回目の放浪）。その後勘当が解除される1599年（慶長4年）までの9年間、勝成は備後・備中地方を放浪しているが、これらの期間の出来事とされる伝承には真偽不明のものが多い。なお、この放浪中に庶民の娘との間に長男水野勝俊が生まれ、父勝成の放浪旅に同行している。水野勝成が備後封入となるのは1619年（元和5年）であり、1651年（慶安4年）に死去するまで福山で過ごした。福山藩は勝俊が継承したが、父親の放浪旅を共に過ごしていたために、庶民の気持ちをよく理解して良政を布いたとされる。
初代福山藩主・水野勝成が若い頃に諸国を旅した経験から、旅人が休めるような休憩所の整備を福山藩の領民に奨励したのが始まりとされるが、起源や時期について詳しいことは判っていない。その他に、個人や集落により供養・慰霊・祈願の目的で建てられた辻堂も知られている。
江戸時代の村落を繋ぐ街道沿いや峠、人通りの多いところに存在し、20-30戸ごとに1基程度の割合で建てられた。管理・運営も集落単位で行われた。神社とは異なり、人里離れた場所には建築されないのも特徴とされる。
福山市、府中市、尾道市、井原市などの備後南部及び備中南部隣接地域を中心に多くみられる。三原市以西には殆ど見られない。2017年（平成29年）現在最も多く存在するのは福山市で250-260か所程が残っているが、次第に数は減ってきている。例えば福山市熊野町地区には、江戸中期の1700年（元禄13年）に17カ所の辻堂があったが明治時代には15か所に減り、2015年（平成27年）現在では7カ所を残すのみとなっている。1996年（平成8年）の中国・四国地方9県の534教育委員会を対象とした調査では、広島県の半数を超える市町村で辻堂の存在が確認されており、岡山県と島根県でも半数近い市町村に存在するとされる。一方、山口県や愛媛県では少なく1/3程度の自治体にしか見当たらない。徳島県、高知県では2割にも満たない自治体でしか見られず、中でも香川県は少なく8.6％の自治体にしか存在しない。江戸時代の地域区分で検討すると、備後地区に相当する地区では9割の自治体に、備中地区に相当する地区では8割の自治体に辻堂が存在し、これらは江戸初期の水野藩の領地だった地区と一致する。
昔ながらの街道筋や麓の里辺りの四つ辻（よつじ）に多くみられること、あるいは4本の柱があることより四つ堂とも呼ばれる。また菅茶山が「福山志料」にて憩亭と読んだことに因んで、その名称が使われることがある。壁がないことより吹き放し堂という名称も使用される。本来の建築目的より休み堂という呼称も聞かれる。祭られている石像名を冠した〇〇地蔵堂や〇〇観音堂などと呼ばれていることも少なくないが、多くの辻堂には固有の名前がなく地元では単に「お堂」ないし「お堂さん」などと呼ばれることも多い。
熱田神宮の縁起である『尾張国熱田太神宮縁記』（鎌倉時代初期頃の成立）の伝承によれば、日本武尊は東征の途中で尾張国愛智郡氷上邑にある建稲種公の館に寄り、建稲種公の妹の宮酢媛（宮簀媛）を知って契りを結んだ。建稲種公は日本武尊の東征に従い、日本武尊とは別の道を行ったが帰途で亡くなったため、それを知った日本武尊は宮酢媛のもとへ急いで向かい、そこにしばらく留まった。その後、日本武尊は神剣を宮酢媛のもとに置いて大和へと出発したが、伊吹山で病にかかり、ついに伊勢国能褒野で亡くなった。宮酢媛はその後も神剣を守っていたが、年老いたため祠に祀ることとし、占地して社地を定め熱田社と名付けたという（熱田神宮の創祀）。また宮酢媛が亡くなった時には祠が建てられたが、これが尾張国愛智郡氷上邑にある氷上姉子天神であるという。氷上姉子神社の社伝ではより具体的に、仲哀天皇4年に宮酢媛の館跡（現在の元宮の地）に宮簀媛命の神霊を祀ったのが氷上姉子神社の創祀になるとし、その後持統天皇4年（690年）に東方の現社地に遷座したとする。以上の伝承に対して、前述（「祭神」節）のようにミヤズヒメと氷上姉子との習合の経緯には慎重な見方がなされており、一説に実際の習合は8世紀以降とされる。また考古学的には、古代に氷上姉子神社の北方には年魚市潟（あゆちがた）の入江が広がったことが知られるが、この入江を囲む熱田台地・笠寺台地・南の台地にそれぞれ熱田社・知我麻社・氷上姉子社といった熱田神宮関係社が分布する特徴がある。古墳の分布によればこれら各地に在地首長の勢力があり、それらは立地的に海と関係する集団（海人族か）であったと見られる。しかし笠寺台地・南台地の勢力は衰退して熱田台地の勢力（尾張氏）の下に入ることから、それを機に首長の統治権・祭祀権が吸収されたとし、その時に知我麻社・氷上姉子社も熱田社の神統譜に組み込まれたとする説がある。この説の中で氷上姉子神社周辺に関しては、4世紀末に築造された兜山古墳（東海市名和町、直径40-50メートルの円墳：非現存）の後の首長墓が見られないため、5世紀初め頃に尾張氏の勢力下に入ったと推測される。