陳留王拓跋虔の子として生まれた。右将軍の号を受けた。403年（天興6年）10月、朱提王に封じられた。後に左将軍に進み、宗師となった。道武帝の寵愛を恃んで驕慢で、衛王拓跋儀以外にはばかる者はいないと豪語した。406年（天賜3年）、後秦の姚興が北魏の捕虜となっていた狄伯支の身柄を買い取ると、悦は狄伯支を西に送ることとなった。このとき雁門を経由したが、悦は北魏に不満を持つ豪傑たちと交際して、その不満を煽ってみせた。後に悦が事件に遇って譴責を受けると、雁門に逃亡して、くだんの豪傑を集めて反乱を起こそうとしたが、当地の人に捕らえられて平城に送られた。道武帝は悦の罪を問わずに赦した。409年（永興元年）10月、明元帝が即位すると、悦は召されて近侍として宮殿に入った。私怨を晴らすために、平城の他民族や雁門出身者を誅殺するよう明元帝に勧めたが、聞き入れられなかった。閏10月、懐に刀を忍ばせて明元帝に近侍し、その殺害を図った。叔孫俊に疑われて、その懐を改められると、刀が出てきたため、捕らえられて殺害された。
毛利氏の重臣である桂元澄の五男として生まれる。永禄11年（1568年）、毛利元就と輝元から安芸国佐伯郡平良26町2段、同郡宮内村41町8段、分銭181貫150目の地を給地として与えられ、永禄12年（1569年）に父・元澄が死去すると家督を相続した。その後は備中国に進出し、毛利元就の四男・穂井田元清の補佐役となった。天正7年（1579年）、備前国の宇喜多直家が毛利氏を離反して織田氏に味方し、毛利方の備中忍山城を攻撃し占領した。この宇喜多氏の動きに対し、輝元は自ら吉田郡山城を出陣し、同年12月25日夜に忍山城を陥落させた。これによって宇喜多氏の勢力は備中国から駆逐され、輝元は美作国へと進軍する。備中国では備前国との国境防備の強化のために備中国賀陽郡の各城の防備が固められ、加茂城本丸に桂広繁、西の丸に上山元忠、東の丸に元備中石川氏家臣の生石治家、日幡城に毛利元就の娘婿の上原元将、松島城に小早川隆景の家臣である梨羽景連、庭瀬城に隆景家臣の兄・桂景信と井上豊後守がそれぞれ守りについた。天正10年（1582年）、羽柴秀吉は備中国の諸城に調略を仕掛け、加茂城を守る広繁、上山元忠、生石治家のもとに蜂須賀正勝、生駒親正、堀尾吉晴を派遣して加茂城からの退城を勧告したが、三将はこれに応じなかった。その後も三将への調略は続けられ、広繁と上山元忠は断固として拒否したが、生石治家は調略に応じた。生石治家は元々備中石川氏の家臣で毛利氏家臣となって日が浅く、毛利氏に対する忠誠心が薄かったためと考えられている。同年4月25日、秀吉に城攻めを委ねられた宇喜多忠家は林重真の守る備中冠山城に猛攻を加え、秀吉家臣の加藤清正が先駆けとなって冠山城を陥落させる。さらに5月2日には宮路山城も降した。宮路山城を降伏させた勢いに乗り、秀吉は加茂城攻撃を開始。加茂城の東の丸を守る生石治家は秀吉の調略に応じていたため、東の丸に秀吉の兵を引き入れた。生石治家は夜半に加茂城本丸の広繁のもとへ使者を送り、「近年毛利氏や小早川隆景のために働いてきたが未だに褒美が無く、先頃羽柴秀吉から懇意の儀があったため応じることとなった。桂広繁の命は保証して毛利軍の陣営に無事送り届け、人質の儀も望みの通りに進じ置くので、城を明け渡されたし」と退城を勧告した。この勧告に対し広繁の一族の桂右衛門尉が櫓に上って拒絶の意を返答し、東の丸へ鉄砲を撃ち掛けた。これによって戦闘が開始し、生石治家は秀吉を案内して丑の刻から申の刻にかけて、広繁の守る本丸と上山元忠の守る西の丸を激しく攻めたてた。広繁と上山元忠は協力して防戦に努め、村上新五右衛門尉や内藤新右衛門尉らが戦死したが屈せず、逆に敵兵数十人を討ち取って羽柴軍を撃退した。天正11年（1583年）、元就の末子で小早川隆景の養子となった小早川元総（後の秀包）が人質として豊臣秀吉の下に送られる際には同行し、小早川氏の家臣となった。慶長5年（1600年）の関ヶ原の戦いでは、小早川秀包の出陣中の久留米城を守備していたが、10月14日に黒田如水､鍋島直茂率いる37,000の軍の攻撃を受けた。城中には広繁と白井景俊以下500の兵しか残っていなかった。必死の防戦で数日城は持ちこたえたが､両将は開城勧告に応じて城を明け渡した。小早川秀包の娘のおさてが黒田家の人質に、広繁の四男・黒寿丸（後の桂包政）が鍋島家の人質とされ、秀包の正室桂姫や嫡男毛利元鎮らは長門国豊浦郡川棚へと移った。関ヶ原の戦いの後に小早川秀包が改易されると、長府藩を興した毛利秀元に仕えた。法名は快友。慶長11年（1606年）、邸宅跡（現山口県下関市菊川町吉賀）は桂氏の菩提寺である秋光山快友寺が建立された。広繁は慶長12年（1607年）に死去。