神社周辺は桃太郎公園として整備されている。
道路から、一の鳥居、二の鳥居を経て、石段を上ると、桃型鳥居と拝殿がある。なお、一の鳥居と二の鳥居は、普通の神社にあるような鳥居である。地元では、子どもの健康を祈る神社としての認識が高く、大切にされている。
周辺.
神社背後には緑深い山が間近に迫り、すぐ前を木曽川が洗う。このあたりの木曽川は風光明媚であり、志賀重昂によって「日本ライン」と名付けられた。また、川縁には有名なチャートの露頭がある。
道路からチャートの露頭までの広い河原は芝生の広場（栗栖園地）となっており、デーキャンプが行われるなど、市民や近隣住民の憩いの場として親しまれている。桃太郎神社に参拝したことがない近隣住民でも、この栗栖園地で遊んだことがある、という人は多い。
境内.
境内は緑が深く、落ち着いている。数多く配置されているコンクリート像は、コンクリート群像作家として知られる浅野祥雲による作品である。中京地区で活躍した浅野の作品は、同じ愛知県の日進市にある五色園（親鸞聖人の伝記）や、岐阜県関ケ原町にある関ヶ原ウォーランド（関ヶ原の戦いを群像で再現）、愛知県知多郡南知多町の軍人墓地、愛知県豊明市の身代わり弘法、さらに熱海城のシャチホコや周辺像などでも鑑賞することができる。コンクリート像は定期的にお色直しもしているようで、大切に扱われている（五色園、桃太郎神社、関ヶ原ウォーランドをして、浅野祥雲作品の三大聖地と言われることもある）。
宝物館.
桃太郎像から石段を登り、左に行くと桃形鳥居と拝殿、右に行くと、宝物館のエリアになっている。かつては、山側に古びた宝物館があったが、何者かによって放火され、貴重な資料の多くが灰燼に帰した。その後、かつてあった場所の向かい側に新築された。
旧宝物館.
以下は旧宝物館にあって、今はないもの（放火事件で焼失したと思われる）。
コンクリート像修復活動.
この地域の桃太郎伝説.
この地域（岐阜県・愛知県の木曽川中流域）に伝わる桃太郎伝説では、桃太郎は栗栖（現在の愛知県犬山市栗栖）で育ち、鬼ヶ島（現在の岐阜県可児市塩の可児川にある島）へ鬼退治へ行ったという。
この地域では、桃太郎に関わる地名も多く残っている。
半鐘