戦国大名浅井氏の台頭により京極氏が衰退すると、同じく京極氏根本被官であった浅井氏に従う。『寛政重修諸家譜』には浅井亮政の生母に赤尾教政女（むすめ）とあり、『浅井三代記』では赤尾教政は浅井亮政の兄とされている。なお、『赤尾家譜』によると浅井氏庶流である浅井賢政の長子、教政（二男に亮政）が母方の赤尾新次郎の跡を継いだと記されている。戦国大名浅井氏内での赤尾氏の重要性を考えると、浅井氏と赤尾氏は何らかの血縁があったことがわかる。赤尾清綱は初め孫三郎、後に美作守と称す。諱を清綱とする。戦国大名浅井氏初代浅井亮政の頃から浅井家に仕え、浅井家の宿老として浅井氏3代に仕えた。小谷城内の防衛の要所、本丸横下に赤尾屋敷と呼ばれる袖曲輪を持ち、そこに在番していた。通常、家臣は城下に屋敷を持ちそこを居館とするものだが、城内に自身名の付いた曲輪を任せられていたことからも、浅井氏にとって赤尾氏は重要な存在であった。『信長公記』（第六巻阿閉謀叛の事）では小谷城落城で、「浅井備前（長政）・赤生（赤尾）美作生害させ」の記述があり、赤尾屋敷と浅井長政が最後まで命運を共にした。なお、清綱の子供らの命は、清綱のそれまでの働きと忠義に免じて織田信長直々に助命したといわれている。浅井氏の滅亡により、赤尾氏も本貫地の赤尾を追われ、新たな主家の地に移り住むようになる。
津速産霊尊－市千魂命－居々登魂命－天児屋根命－天押雲命－天種子命－宇佐津臣命－御食津臣命－伊香津臣命―臣知人命―角弖命―古加斐命（崇神天皇朝の人）―白猪主命―大屋埼命―鳥見命―厳石之臣―牟久太臣（仁徳天皇侍臣）―黒萬呂―志那古―子呂豆―伊香具首麿（伊香具臣を号す）―伊香具小形―伊香具鹿養―伊香具稲生（外正六位下 伊香具領）―伊香具舩主（外従五位下 天武天皇に仕えて軍功あり）―伊香具池守―伊香具牛麿（正五位下）―伊香具當武（外従五位下 伊香郡大領）―伊香豊厚（外従五位下 伊香郡大領 嘉祥元年三月、伊香宿禰を賜姓さる）―伊香厚代（神祇大副 雅楽頭）―伊香厚行（神祇大副 雅楽頭 寛平、延喜年中の人）―伊香厚雄（中務少輔）―伊香厚純（雅楽頭）―伊香範厚（中務少輔 寛弘年中の人）―伊香厚頼（刑部大輔 万壽年中の人）―伊香諸厚（刑部大輔  神祇大副）―伊香厚英（神祇大副 中務少輔 右近将監）―伊香助厚（神祇大副 康知年中の人 神次郎）―柏原助延（柏原神大天）―柏原安助（柏原神大天 平安時代末期）―赤尾助清（四男・実は後鳥羽院北面の士の子、安助の養子となる 赤尾四郎、橘氏を号す、権禰宜）―赤尾清正（赤尾九郎）―赤尾守清（左近将監）―赤尾盛近―赤尾貞清（掃部 左近将監）―赤尾氏清（左近将監 此の人も南北朝時代の人なり）
Xクラブが存在したのは科学と宗教が激しく対立したヴィクトリア朝イングランドであった。1859年に出版されたチャールズ・ダーウィンの『種の起源』と自然選択説は、裕福なアマチュアで構成されていた科学界の体制派と聖職者を兼任していた博物学者から嵐のような議論を引き起こし、イギリス国教会からの攻撃を招いた。19世紀の初めから、彼らは進化論を神授的な貴族社会の秩序への攻撃と見なしていた。一方で、進化に関するダーウィンの考えは自由主義的な神学者と新しい世代の職業的科学者によって歓迎された。のちにXクラブを構成する人々はダーウィンを支持し、彼の業績を科学に対する聖職者の干渉からの解放ための大きな闘争の一部と見なした。Xクラブのメンバーは1864年のダーウィンのコプリ・メダル受賞においてかなりの役割を果たした。1860年に国教会自由主義派によってキリスト教に関するエッセイ集、「エッセイ・アンド・レビュー」が出版された。エッセイ集は聖書が記述する世界の歴史に対する生物学者と地質学者の一世紀近くつづく挑戦の要約を示していた。手短に言えば、エッセイ・アンド・レビューの執筆者は聖書を他の文学作品と同じように分析しようと試みていた。エッセイ集はダーウィンの著作以上の論争を引き起こした。後のXクラブのメンバーは執筆者を支持し、ラボックは自由主義派と科学者の間に同盟を結ぼうとさえ試みた。二人の自由主義派の神学者が異端の有罪判決を受けたが、政府はこの判決を覆した。その時、サミュエル・ウィルバーフォースら主流派と福音派は議会への請願と進化論への大規模な反発を組織した。国教会の集会で福音派は神の言葉と行いへの信仰を再確認したと発表し、信仰を強制する「第40条」を作ろうとした。彼らはイギリス学術協会でキャンペーンを行い、ダーウィンの同盟者であるハクスリーの「危険な党派」を打倒しようとした。1862年にナタールの司教ジョン・ウィリアムズ・コレンソは「Pentateuch」を出版し、旧約聖書の最初の五冊を分析した。コレンソは分析で数学的な計算と人口動態の概念を用いた。そして旧約聖書の最初の五冊が不完全で信頼できないことを示した。英国国教内で激怒の声が上がった。後のXクラブはコレンソを支持するだけでなく、そのアイディアについて議論するためにコレンソとしばしば食事をともにした。1863年に人種に関する問題でイギリスの科学界に新たな亀裂が入った。ダーウィンの理論を拒絶したロンドン人類学会が、ダーウィンの提唱した進化理論で奴隷制度が支持されると主張したとき議論は混乱した。のちのXクラブのメンバーは奴隷制度を批判しアカデミックな自由主義を受け入れたロンドン民族学会を支持した。Xクラブのメンバー、特にラボック、ハクスリー、バスクは学会内の軋轢と「神学的セクト主義の嫉妬」が有害だと感じた。彼らはロンドン人類学会のイギリス学術協会への関与（人類学会のメ会員はみな学術協会の会員でもあった）を制限しようと試みた。このように、1864年までにXクラブのメンバーは私的にも公的にも戦いに加わり、ロンドンの科学界で学問の自由を発展させる目的を共有した。