川上氏（川上造）は物部氏（物部連）の一族にあたる天孫系氏族。和泉国の鳥取河上宮に因む川上部の伴造氏族で、川上部を率いて製作した刀剣を石上神宮に奉納することを職掌としたと見られる。
満州国に生まれる。戦後引き揚げて群馬県沼田市に住む。群馬県立沼田高等学校を卒業。彫刻家を志望し、東京芸術大学を3度受験したが合格できず、断念する。1957年に漫画を書き光文社の『少年』に持ち込みをする。光文社との打ち合わせで東映動画設立の話を聞き、完成したばかりの大泉スタジオを訪ねる。そこで山本善次郎と面談し、アニメーター募集に応募することを決める。同社の第1回目の一般公募で入社。養成期間中の成績が高く、養成が終わると東映動画の長編第1作『白蛇伝』で早くもセカンド原画を任される。しかしスタッフと衝突し仕事がこなくなった。暇なところを森康二の絵コンテを見て「ここをやらせて下さい」と提案。これが受け入れられ原画に大抜擢された（それまで『白蛇伝』の原画には森康二と大工原章の二人しかいなかった）。その後もアニメ映画を多く手掛け、得意なアクションシーンで腕を振るった。手塚治虫の虫プロによる『鉄腕アトム』でテレビアニメの時代を迎えると、東映動画のテレビアニメ第2作『少年忍者 風のフジ丸』で楠部は作画監督を担当。当時は該当する役職がなかったが今日でいうところの“キャラクターデザイン”も担当した。また『フジ丸』の演出には実写畑からの人材が多く、楠部は矢吹公郎、田宮武、勝間田具治、村山鎮男などにアニメの演出を教えた。『フジ丸』は制作が遅れ東映動画は楠部も原画に参加するよう要請した。楠部が断ると作画料を上げて再度要請してきた。こうして『フジ丸』のスケジュールが逼迫するたびに楠部の収入は上がり、月収が150万円になった（男性大卒の初任給が2万円台の時代である）。さらに東映動画から虫プロへの移籍が相次いだため、それを抑えるため、大塚康生らとともに正社員の10倍の報酬を得る契約社員5人のうちの1人にまで登りつめた（ちなみに、この時に得た収入が後のAプロダクション設立資金になる）。しかし楠部の給料が東映動画の社長よりも高いことが判明し、騒動になり1965年9月に退社を余儀なくされた。東映動画は動画連盟を通じて他社に楠部を採用しないように働きかけたが、これが逆効果を生んだ。自宅で手塚から虫プロの重役待遇で迎える話を持ちかけられたが、断った。断ってから20分後に藤岡豊に東京ムービーに誘われた。これも「もう宮仕えはする気はない」と断った。そこで東映動画が長編動画時代のスタッフを切り捨て、若手中心のスタッフで低予算のテレビアニメ時代を乗り切る方針を選択したこともあり、アニメ制作会社として1965年12月にAプロダクション（以下Aプロ）を設立。東京ムービーの本隊に参加しない代わりに、業務提携（資本提携なし）を結び、制作部門を請け負うこととした。親分肌の性格で知られ、Aプロの初期のスタッフは東映動画からついてきた芝山努、小林治、椛島義夫などである。Aプロでは社長としてプロダクションの経営に当たる一方、作画監督として、その確かなデッサン力と骨太なタッチでテレビアニメ『巨人の星』では不可能といわれた劇画コミックのアニメ化に成功。定期採用により、多くの優秀なアニメーターを養成した。また、台湾にもアニメ制作会社「影人電影公司」を設け、大塚康生と共に台湾でアニメーターを育て上げている。また、1970年には実弟の楠部三吉郎が営業として東京ムービーに入社し、楠部を支えることになった。同時進行する制作本数が5本になった1974年、テレビアニメ『柔道讃歌』（4月～9月、日本テレビ系）の作画監督を務めている最中に病に倒れる。1年間の療養を取り、その間に制作本数が激減。経営の危機を迎えたことで、実制作のみの体制に限界を感じた。さらに東京ムービー自体の製作本数の減少と、東京ムービーの藤岡豊が梶原一騎、映画プロデューサーの川野泰彦と共に「三協映画」を設立した影響で東京ムービーの経営が困窮。東京ムービーの経営部門を東京ムービー新社として独立させ、残りの東京ムービーを楠部に引き取るように要請されたがこれを固辞。こうしてAプロは東京ムービーとの契約を解消。社名も東京ムービー新社に対抗してシンエイ（新・Aプロダクション、「アニメ界の新鋭」の意）動画と改め、企画と製作も行なう制作会社として1976年9月9日、再出発した。三吉郎は、前記のように藤岡から「責任を被ってくれ」と頼まれ、納得できずに楠部に相談すると、「いまある金はアニメで稼いだ金だ。アニメで失うなら、どう使ってもらってもかまわない」と好きにしてよいと返答されたことで、独立、シンエイへの合流を決意したと記している。シンエイ動画設立初期の楠部は作画も手がけ、テレビアニメ『日本名作童話シリーズ 赤い鳥のこころ』（1979年、テレビ朝日系）など、作画監督として参加していたが、それ以降は社長・会長職に専念する。ただ『劇場版ドラえもん』の作品監修は19年間の長きに渡り（1980年『ドラえもん のび太の恐竜』～1999年『ドラえもん のび太の宇宙漂流記』）参加していた。三吉郎は、楠部に「会社の文鎮」として現場に口を出さず下のものが相談に来たときだけ乗ってくれるよう頼み、その通り実行したと記している。2005年8月27日死去。享年70。没後の2006年3月23日から26日に開催された『第5回東京国際アニメフェア』の中で、シンエイ動画創立の功績に対して、第2回特別功労賞が授与された。