1889年、福島県宇多郡福田村（現：相馬郡新地町）に生まれる。第二高等学校を経て東京帝国大学建築学科卒業。卒業の翌年には、建築界の大御所だった辰野金吾設計による東京駅建築の批判を発表した。明治神宮の建設に関わった後、1917年、帝国ホテルの設計を引き受けたライトの建築設計事務所に勤務。建設費用がかかり過ぎるとしてライトは解雇され、途中で帰国してしまうが、遠藤ら弟子が帝国ホテルを完成させた。関東大震災後には応急建築に奔走し、賛育会産院・乳児院、銀座ホテル、日比谷世帯の会マーケット、東洋軒、陶陶亭、盛京亭、第一屋分店・山邑酒造店などのバラック建築を手掛けた。また、自由学園、山邑邸も、ライトの基本設計を元に完成。1935年からは満州と日本を行き来して設計活動を行った。1945年満州にて第二次世界大戦の終戦を迎えたが、翌年心臓発作で入院し、半年後に日本に帰国した。1949年からは文部省学校建築企画協議会員を務め、戦後占領下の日本における学校建築のあり方に対する提言を行った。1951年4月体調を崩し、東大病院に入院。2ヶ月後、同病院にて死去した。独立後もライトに心酔し、ライトばりの建築を設計し続けた。このため、ライトの使徒とも呼ばれ、独創性がないと軽視されることもあった。しかし、ライトの設計思想をよく理解した遠藤の作品は、ヒューマンスケールな広がりのある空間で多くの人に親しまれており、再評価が行われている。
多くのゲーム作品では伝説の超サイヤ人状態のみ登場する。悟空に執着していることが多い。伝説の超サイヤ人時はジャブやエネルギー弾2〜3発を受けても怯まないといった性能が付いているものが多い。攻撃力も他のキャラクターよりも高く設定されていることがある。スーパーファミコン専用のソフト『ドラゴンボールZ 超武闘伝2』で初登場。この作品でボージャックよりもブロリーのほうが強いということを悟空が述べている。PlayStation Portable専用のソフト『ドラゴンボールZ 真武道会』ではフリーザと戦闘を行う。神龍が登場したときは、「カカロット」としか喋らなくなっている。結局、神龍が勝手に解釈し、悟空を呼び出すことに。この後どうなったかは不明。続編の『ドラゴンボールZ 真武道会2』のストーリーでは、魔導師バビディに利用されたり、瀕死になったり、魔人ブウ（悪）に吸収されたりしている。天下一武道会を舞台とした「アーケード」モードで優勝した際のインタビューシーンでは、天下一武道会アナウンサーが話しかけた際に暴言こそ吐いたものの上機嫌のため殺さずに見逃している。なお、悟空との対戦時の導入会話では、悟空はブロリーがいつも怒っていると判断しており、その原因を自覚していないことが語られている。ニンテンドーDS専用のソフト『ドラゴンボールZ 舞空烈戦』ではセルや魔人ブウ（善）、フリーザはすでに死亡しており、クウラが実権を握ったフリーザ一味を倒すストーリーや、地球に不時着し記憶を失ったブロリーがミスター・サタンによって助けられ、悟空たちの仲間になるストーリーが存在する。なお作中では制御されているときの戦闘力は10000を下回っていたり、悟空を恨んでいることが同時にブロリーを安定させていることでもあると述べられている。PlayStation 2専用のソフト『ドラゴンボールZ3』、『ドラゴンボールZ Sparking! METEOR』のオープニングムービーでは、ゴジータと戦うシーンがある。『ドラゴンボールZ3』では、オープニングで『危険なふたり!超戦士はねむれない』のような金髪のブロリーが登場しており、悟空ルートで特定の条件を満たすと悟空がブロリーと相対して倒す。PlayStation 2専用のソフト『ドラゴンボールZ Sparking!』シリーズでは全形態が登場し、劇場版の『危険なふたり!超戦士はねむれない』の再現で悟飯や悟天がそのまま倒されたときには悟空がここにはいないことを認知する。PlayStation 3およびXbox 360ソフト『ドラゴンボール レイジングブラスト』『ドラゴンボール レイジングブラスト2』、データカードダス『DRAGONBALL改 DRAGON BATTLERS』、『ドラゴンボールヒーローズ』では超サイヤ人3に変身することが可能。気の色も悟空の超サイヤ人3と同じく金色となっている。なお『DRAGON BATTLERS』の超サイヤ人3時は、かめはめ波のような構えから気功波を発射するギガンティック・オメガという技を使用している。『DRAGON BATTLERS』のカードの内容によると、悟空たちに復讐を誓う思いがブロリーを蘇らせたらしいとのこと。『ドラゴンボールヒーローズ』邪悪龍ミッション第5弾ではバビディに洗脳された形態である破壊王ブロリーが登場していて、店頭配布の邪悪龍ミッション第5弾『ヒーローズ新聞』には「魔術でブロリーら凶戦士を操ろうとしたバビディ。だがブロリーは、魔術すらも自分の力に変えて、宿敵カカロットを狙う」と書いてある。邪悪龍ミッション第7弾では黄金の大猿ブロリーが登場していて、邪悪龍ミッション第7弾のミッションに敵のボスとして登場したときは満月を見て大猿化した。邪悪龍ミッション第7弾では、悟空、ベジータに続く3人目の超サイヤ人4として登場していて、邪悪龍ミッション第7弾オープニングでは黒煙の龍の力によって黒煙に包まれて大猿化し、超サイヤ人4に変身する経緯が描かれている。『ミラクルバトルカードダス』では超サイヤ人2に変身したカードがある。PlayStation 3およびXbox 360ソフト『ドラゴンボール レイジングブラスト』のIFストーリーでは、地球に不時着した際にドクター・ゲロに救われている。ゲロの指示によりベジータを倒すが、孫悟空を倒せと命令された際には口で反発して、そのまま伝説の超サイヤ人となり、ゲロを撃破。ブロリーを察知して悟空も現れるがあっさり倒し、地球破壊を宣言。なお、時系列は映画とは異なっている。続編の『ドラゴンボール レイジングブラスト2』では、通常のブロリーとは別に、超サイヤ人3となったベジータや、劇場版で戦ったキャラクターたちと戦う超サイヤ人3用のギャラクシーモードも用意されている。PlayStation 3 / PlayStation Vita / Xbox 360用ソフト『ドラゴンボールZ BATTLE OF Z』にも登場している。後半の高難易度ミッションにおいて強敵の位置づけで登場する。PlayStation 3 / PlayStation 4 / Xbox 360 / Xbox One / Steam用ソフト『ドラゴンボール ゼノバース』では地球に来た時の頃のブロリーが登場し、ドミグラにより凶暴化させられた状態でプレイヤーや悟飯たちと対峙する。戦闘中、ドミグラが遺したワームホールによって崩壊寸前のナメック星にワープさせられ、同じく飛ばされたバーダックと衝突する。なお、超サイヤ人ゴッドの悟空と戦うとその姿に驚き、悟空からは「お前ではたどり着けない世界」と言われる。またGT版の悟空（幼少期）と戦い際は、小さくなって逃げようとしていると判断し、そう指摘された悟空から面白がられている。PlayStation 4 / switch用ソフト『ドラゴンボール ゼノバース2』では、トワの魔術によって洗脳され別の時空から呼びだされた存在として登場。主人公によって一度倒されたが死んではおらず、再度襲い掛かり再び主人公に倒された。サイヤ人編を題材にした『ドラゴンボール改 サイヤ人来襲』では、隠し要素として条件を満たすことで伝説の超サイヤ人状態のブロリーと戦うことができる。ニンテンドー3DS用ソフト『ドラゴンボールZ 超究極武闘伝』にも登場している。