三社ともに、現在の緒方町にあたる豊後国大野郡緒方荘を平安時代末期から鎌倉時代初期にかけて所領とした緒方惟栄が、1178年(治承2年)に建立したとされる。