菅江真澄は1802年に素波里神社を訪れ、その内容を『しげき山本』に記している。真澄が神社につくと「青黒山」と書いた額があった。鉄製の小さな剣が神社の梁に隙間無く並べられていた。不動の滝に行くと滝の奥にも道があって3人の男が歩いていった。神社に戻り、川をさかのぼって来た舟に乗せてもらい「すばり」という迫りたつ岩の間を進んだ。岩は高くそびえ、淵は青く深かったが、水は底まで澄んで透き通り清らかだった。なお進むと、岩壁がますます迫ってきて、桃源郷を訪れたような気分になったと記している。その後、雷鳴が鳴り響いて来たので舟は引き返している。
口伝によれば、円仁が自作の不動明王を祀ったのが始まりだとか、安倍氏が敗れてこの地に逃れて来たときに、背負ってきた不動像をこの地に置いたのが始まりだとか、粕毛村谷地にあった館に立ち寄った比内浅利氏の氏神が始まりだという説もある。いずれの説も、戦いに敗れて素波里の奥地にある大開（現在の猿ヶ瀬素波里園地）を目指したものの、道が険しく素波里に置き去りにしたものを、地元の里人が小屋を建てて安置したものであることは一致している。
創建当時の社は、現在の社殿がある西側台地の滝を望める場所にあったとされる。1702年（元禄15年）に郷中で創建、1813年（文化10年）藤琴村の市川孫兵衛が新築して寄進、1846年（弘化3年）と1938年（昭和13年）にそれぞれ再建されて現在に至る。1972年（昭和47年）の大洪水の際、素波里ダムの緊急放水により浸水被害を受ける。その後、防水のために堤防が作られ以前のような川の畔に立つ社の景観を失った。奉納物は1692年（元禄5年）の鰐口を始め多数ある。1867年（慶応3年）と1869年（明治2年）の俳句献額には、幕末期や明治初期の秋田県俳句界著名人の献額がある。また、社の前には石灯籠や狛犬などが献納されている。1989年（平成元年）には、地元出身の加藤廣志による「能代工業バスケットボール全国優勝30回記念」の碑と水を張る水盤の石が献納されている。加藤廣志は、2018年平成30年3月に亡くなったが、妻テイさんが、同年7月に同神社の手水舎の屋根と柱を寄進している。手水舎は、幅4メートル、高さ3メートル。銅版葺きで、バスケットゴールの柱に見立てたイチイの支柱が特徴である。加藤廣志は、能代工業バスケットボール部の監督を退いてからも年に一度は参拝し、亡くなる前年も訪れていたが、水盤の石が長く野ざらしに近い状態だったのを気にかけていたという。神社奥すぐに素波里ダムの施設があるが、この脇を通り過ぎて左奥に行くと、素波里不動の滝がある。滝下には数個の献納された観音像がある。
ヴェベルはカルロヴィ・ヴァリに程近いVelichovに生まれた。彼はプラハで哲学と法学を学んでいたが、本格的に音楽に関心を向けるようになってからはゲオルク・ヨーゼフ・フォーグラーの下で研鑽を積んだ。彼はプラハでモーツァルトに出会ってからモーツァルトの音楽に心酔するようになり、ヴェベル自身の作品にもその時期に深く根差した影響が現れている。彼はベートーヴェンやウェーバー（親戚ではない）の作品には敵対する立場をとったが、ワーグナーの楽曲には熱狂していた。1832年、ヴェベルはプラハ音楽院の学生演奏会においてワーグナーの「交響曲 ハ長調」の初演を指揮している。音楽院とプラハ・オルガン学校の両校の学長として、ヴェベルはプラハにおける高等音楽教育を効果的に取り仕切っており、当時のプラハの音楽界において最も影響力のある人物であったということができる。また、彼が著した音楽理論に関する数冊の教科書は当時重要視されていた。1813年から1816年にかけてプラハ国立歌劇場管弦楽団の指揮者を務めていたウェーバーは、ヴェベルが音楽院で作曲した作品を判じてプラハの音楽界を前向きに評価した。ヴェベルは保守的な態度を取っていたものの新しい楽器の可能性を探究することを好み、例えば「新たに発明されたビューグルのための変奏曲 Variationen für das neu erfundene Klappenhorn」を作曲している。彼は金管楽器に優れた作曲能力を有しており、特に新たな発展には特別の関心を持っていた。彼自身も半音階が演奏可能なホルンの開発に携わっている。ヴェベルの現存する作品でおそらく最も有名なのはカンタータ「Bohmens Erretung」である。彼は1800年にはオペラ「König der Genien」を作曲しており、バルブ付きの金管楽器、特にホルンに関わった経験を基に「トランペットと管弦楽のための変奏曲」を書いている。1823年から1824年にかけて、ヴェベルは他の50人の作曲家らとともにアントン・ディアベリの「ディアベリのワルツによる変奏曲集」に参加した。ヴェベルの弟子のひとりであるヨーゼフ・カイル（Joseph Kail）はバルブ付きホルンをウィーンへと持ち込み、2つのピストンを備えたウィンナ・ホルンを開発した。1828年、Chulmという人物がカイルの発明したおそらくバルブ付きの半音階トランペットを用いて「トランペットと管弦楽のための変奏曲」を演奏したという記録が残っており、これによってこの曲は同類の作品の中でも現存する最初の楽曲となったのである。1842年、ヴェベルはプラハで生涯を閉じた。