性的マイノリティと呼ぶときには、 LGBT といった性的指向における少数者の範疇とは別のカテゴリに入る、性的に非典型的な傾向を持つ人々も含まれる。それは例えばBDSMなどの性的嗜好と呼ばれものなどにおける少数者を指す。ここにも、LGBT との概念的な違いが現れる。英語の「セクシュアル・マイノリティ（sexual minority）」は、性的指向や性同一性に関する非典型者を意味するのみではなく、文字通り「性における少数者」を意味するのだと考えれば、LGBT とは自ずから異なった意味になる。社会的少数者と同様、人たる権利（人権）において何らかの意味で不利な立場に立つ者として、性的マイノリティは意味が広い言葉だとも言える（参照）。
レインボー・フラッグ（虹をモチーフとした旗）は、しばしば性的少数者ないし LGBT の象徴と見なされるが、元々はゲイ・コミュニティの象徴であった。別名「ゲイ・プライド・フラッグ」（ゲイの尊厳の旗）とも呼ばれる。同性愛者団体の活動などでは虹色の旗（レインボーフラッグ）が用いられ、日本の東京・新宿二丁目で2000年から行われている「東京レインボー祭り」の名称もこれに由来する。レインボー・フラッグは、1978年にゲイ・コミュニティの象徴となる旗のデザインを依頼されたギルバート・ベイカーが考案した。現在のレインボーフラッグにおいては赤、橙、黄、緑、青、紫の6色で虹を表している。ただし、ベイカーによるオリジナルの旗はピンク、赤、橙、黄、緑、青、藍、紫の8色であった。製造上うまく発色しないことからまずピンクが削除された。次に、1979年のサンフランシスコのゲイ・パレードにおいて、虹色の横断幕を左右に分割できるようにと、藍が削除された。
薩摩藩士柴山良庵の三男で、兄良助や従兄東郷平八郎と違い、薩英戦争時は幼かったため従軍していない。明治政府には開拓使の一員として仕官し、明治5年（1872年）より2年間アメリカに留学。帰国後に海軍へ出仕し、中尉に任じられた。最初の1年間は武庫司に勤務し、水雷製造掛となった。魚雷・機雷製造現場で働き、研究開発を推進した。さらに明治12年（1879年）9月15日に水雷練習所長、明治16年（1883年）2月6日には水雷局長に任じられており、水雷の父として賞賛される。以後も研究・事務を中心に勤務しており、艦隊勤務は少ない。西南戦争が初陣で砲兵大隊に属した。明治9年（1876年）に「浅間」乗組員として1年勤めた後は、再び事務に戻っている。したがって艦長を務めたのも「筑波」・「海門」・「高千穂」の3隻に過ぎない。明治19年（1886年）2月24日に参謀本部第2局長に就任、この年に西郷従道の随員として欧米各国を視察し、帰国後明治20年（1887年）10月8日に艦政局次長となり、軍令・軍政の要職を歴任する。しかしこの頃から、同郷の後輩である山本権兵衛が頭角を現し始め、山本ら革新派と柴山ら保守派の派閥争いが水面下で始まっている。「権兵衛が種まきゃ矢八がほじくる」と戯れ歌まで生まれた。しかし長らく事務方のエキスパートとして実績を積み重ねてきた柴山の事務能力に対する評価は高かった。明治27年（1894年）7月13日、日清戦争開戦にあたって、警備を担当する西海艦隊司令長官に佐世保鎮守府司令長官だった相浦紀道少将を任じた際、まだ大佐だった柴山が後任の佐世保鎮守府司令長官に任じられた。鎮守府長官は少将以上でなければ任命できない顕職だったが、柴山は海軍史上唯一の大佐長官となった。この異例の措置に対応するため、柴山は長官心得の肩書きで就任し、1週間後に少将へ昇進して正式な長官辞令を受けた。戦後の明治30年（1897年）10月8日に中将へ昇進し、常備艦隊司令長官に任命される。艦隊・水上での実務が極端に少ない事務方でありながら、初めて実戦部隊の頂点に立ったことになる。常備艦隊の勤務を終え、明治32年（1899年）1月19日海軍大学校長就任、明治33年（1900年）5月20日、呉鎮守府司令長官に任命され、柴山の現役生活は静かに大団円を迎えようとしていた。しかし、旅順陥落によって日露戦争が一つの山場を越えた明治38年（1905年）1月7日、占領したばかりの旅順を早急に活用するべく旅順口鎮守府を設置することになり、初代長官に抜擢されたのが、他ならぬ事務方のエキスパートだった柴山だった。港内に着底した軍艦の撤去と修理、閉塞のため沈めた商船や双方が敷設した機雷の除去など、鎮守府を開くにあたって多くの困難があったため、裏方の事務処理に長けた柴山が召集されたのである。この地道な功績の積み重ねが評価され、明治38年（1905年）11月13日大将へ昇進した。一部には「薩摩出身でなければ大将など望むべくもない地味な経歴」と批判する声もある。昇進を手土産に明治40年（1907年）2月14日予備役に編入され、大正4年（1915年）7月13日に後備役となる。大正9年（1920年）7月13日に退役。以後は海軍と関わりを持たず余生を過ごし、死後正二位に序せられた。多磨霊園に埋葬されたが、父良庵や兄良助ら柴山家累代の墓とは別に個人墓が建てられている。高知県出身の彫刻家・土方久功は柴山の孫にあたる。