平盛国流関氏庶流で、鈴鹿郡加太村（亀山市）を本拠とした鹿伏兔氏の一族で、近世初期より久松松平家に仕え、転封に従い伊予松山藩、陸奥白河藩、そして伊勢桑名藩に移った。明暦3年（1657年）ごろに江戸に出た、一族の加太八兵衛は「伊勢八」の屋号の商人となる。幕末の豪商の七代目八兵衛が高名であるが、続く、明治期の八代目八兵衛で「伊勢八」は店をつぶした。この一族の子孫に、作家の加太こうじ、ドイツ文学者山下肇がいる。山下の弟には、ロシア文学者泉三太郎や、映画館経営者の三浦大四郎らもいる。祖父加太佐五兵衛孝厳（たかたけ）は桑名藩老臣吉村宣春四男。号は遊斎。祖父は万延元年（1860年）2月26日72歳、祖母は2月29日71歳で共に感冒で死去し、長寿院に葬られた。父加太喜内孝喜は初名孝顕、号は羽扇。白河に生まれ、禁門の変、天狗党の乱鎮圧、鳥羽・伏見の戦いに参加し、江戸に逃れた後、明治8年（1875年）1月22日桑名で死去した。母、鶴子（文政8年（1825年） - 明治40年（1907年）2月28日）は藩士長尾元勲（もとたか）または元資五女。長兄、長妹、次妹、長弟は早世し、次兄・久米も嘉永5年（1852年）天然痘により6歳で死去した。弟・頼茂は明治4年（1871年）叔父青木市左衛門頼救養子となり、陸軍歩兵少佐として西南戦争、日清戦争、日露戦争に参加した。妹・勝は明治10年（1877年）5月榎本師美に嫁ぐ。妹・常は明治19年（1886年）4月13日鈴木長利に嫁ぎ、明治26年（1893年）12月7日死去。明治6年（1873年）7月9日、父・孝喜の同僚、鵜飼兵右衛門貴良次女・歌子を娶り、2女3男を儲けた。長男重邦は明治12年（1879年）8月11日に生まれ、明治40年（1907年）7月法科大学卒、住友銀行勤務。次男良邦は明治18年（1885年）5月12日に生まれるも、19日死去。三男・安邦は明治24年（1891年）3月22日に生まれ、大正3年（1914年）7月京都法科大学卒、三井銀行勤務。長女・徳は明治10年（1877年）6月2日に生まれ、明治29年（1896年）6月判事法学生前沢成美に嫁ぐ。次女・直子は明治15年（1882年）6月18日に生まれ、明治35年（1902年）11月2日逓信省技師・堤正義に嫁ぐ。孫に加太光邦、曾孫に法政大学助教授加太宏邦。
福岡県三井郡御原村大道（現・小郡市二タ）の被差別部落で貧農の家庭に生まれる。農業だけでは食べていけないため、父は靴修理の行商に出、母は廃品回収業で生計を支えた。御原尋常小学校（現・小郡市立御原小学校）高等科卒業後、国鉄への就職試験に3度失敗し、家出生活を送っていたところ、騙されて北海道のタコ部屋に売り飛ばされ、重労働を経験。1934年、松本治一郎に救われて九州鉄道（西鉄）に入社。出征と復員の後、西鉄労働組合の役員となる。1940年4月、福岡二十四連隊第二機関銃隊に入隊。同年4月、中国に出征。帰国後、1948年、部落解放運動に参加。部落解放同盟福岡県連合会常任を経て、1956年に同県連書記長となる。1963年、部落解放同盟中央執行委員。1968年、同書記長。同年5月、当時の福岡県知事亀井光との団交中、亀井を殴って全治1週間の怪我を負わせたが、警察には上杉の部下の木村政男が身代わりで出頭。その論功行賞により、木村を部落解放同盟福岡県連合会小倉地区協書記長に抜擢したという経緯もあった。このため、1981年、木村が北九州土地転がし事件で2億7000万円の不正な利益を手に入れて社会から指弾を受けた時にも、上杉は木村をかばい続けたといわれる。1981年度の大会の席上、解同の相次ぐ不祥事について「率直に言うて、中央委員会ぐらいで一つひとつの問題点を明らかにしたいわけです。ところが、中央委員会に出したら、もうその日の夕方にはマスコミや多くの新聞に流れてしまうわけです」「公表したらそれを資料にして共産党の弁護士が検察庁にすぐ告発してしまうから……できない」と発言した時は、自浄作用の欠如として非難されたことがある。西日本新聞の追悼記事によると、この頃「人間解放という崇高な理念を持つ僕たちこそ、自分を厳しく律していかなきゃいけんよ」と漏らしていたという。1982年、部落解放同盟中央執行委員長に就任し、死ぬまでこの地位にあった。1988年、反差別国際運動（IMADR）を組織して委員長に就任。1991年11月29日、「事情の良く判らない海外の関係者に、あたかも部落解放同盟が暴力団体であり、利権団体であるかのような宣伝を繰り返し行った」との理由により、全国部落解放運動連合会と部落問題研究所を名誉毀損で提訴。しかし部落問題研究所と全国部落解放運動連合会は、この裁判を"「解同」暴力糾明裁判"と呼び、部落解放同盟の犯罪行為を法廷で追及。結局、1994年に部落解放同盟の側から提訴を取り下げたため、部落問題研究所は「暴力・利権集団であることを解同自らが認めた」「解同側の全面的な敗北宣言」との声明を発表した。1992年、小郡市名誉市民。1996年5月10日、肝不全のため死去。また、異母弟の上杉昌也ともども美空ひばりと親交があり、1987年4月には、上杉佐一郎の紹介で美空ひばりが福岡県済生会福岡総合病院に長期入院したことがある。餃子の王将の創業者加藤朝雄とも親しく、王将が餃子の店を全国に開いた時、300億円の資金をメガバンクから調達した。京都の闇社会に詳しい不動産ブローカーは「『王将』のバックは、なんといっても上杉佐一郎さんでしたよ。最盛期の上杉委員長の力は絶大なもので、（税務申告の書類に）部落解放同盟のハンコがあれば税金フリーパスだったわけです。京都の財界人も、多かれ少なかれ世話になってたんです。『王将』が餃子の店の全国展開に乗り出す際、数百億円ともいわれる原資をメガバンクから上杉さんが引っ張ってきたそうです。京都在住の上杉さんの身内から直接聞いた話です。もちろん、メガバンクからといっても、地元京都の金融機関を通じて迂回融資をしていたと思いますよ」と述べている。