社家については、古くは七十五家あったと伝わるが、永禄年中の戦乱の影響で社勢が衰えた結果、江戸時代頃までにいわゆる「広峯三十四坊」といわれる三十四家が残り、その後、寛文年中には三十三家、安永年中には二十五家となった。ただし、三十四家という社家の枠は残り、不在となった家は他の社家が兼帯した。
江戸時代中期以降の主な社家には、廣峯・肥塚・魚住・椙山・谷・小松原・谷口・神崎・金田・竹田・竹井・柴田・内海・福原・粟野・大坪・芝・馬場・尾代等がある。
大別当社務職を代々世襲し、各社家の頂点にあった（実質的には江戸時代初期まで）廣峯氏は、三十六歌仙の一人で『古今和歌集』の撰者でもある凡河内躬恒の子孫とされ、鎌倉時代には御家人を兼ね、室町時代には赤松氏配下の有力国人でもあった往古からの社家、関東の在名を苗字とする肥塚、金田氏等はかつての鎌倉御家人の子孫で、鎌倉時代に東国から播磨へ下向し、その後社家となったとされる家である。また、赤松一族といわれる魚住氏、小松原氏、谷口氏等のように室町後期～織豊期頃に赤松家臣団から流入して社家となったと考えられる家もある。
江戸時代（宝永年間以降）にはこれら各家のうち五家が従五位下諸大夫の官位官職に就き、以下に記すような社務を執り行った。
また、御師としての性格を表す社務として、寺院の檀家制度のように、当社の信仰（上記、広峰信仰）地域（播磨、但馬、淡路、摂津、丹波、丹後、若狭、備前、備中、備後、美作、因幡 、伯耆）において、主として自然村単位で信徒（檀那）を持っており、社家は自家の檀那村をまわって三種類の神札（居宅内の神棚に祀るもの、苗代に立てるもの、田の水口に立てるもの）を配布し、その対価として御初穂料を得て収入としていた。江戸時代以降、社領わずか七十二石であった当社が繁栄を維持できたのは、実にこの広範囲にわたる多数の信徒の支えによるところが大きい。
この檀那村は、ある社家が経済的に困窮したり、何らかの理由で社家から退く際には、他の社家に有償で譲り渡すことができるなど、社家間で取引の対象ともなっていた。
手代は一つの社家が数家を抱え、社家の禁裏への祈祷や檀那廻りの際に随行する他、平素は広峰山内にある社家所有の畑を耕作して生活していた。