高校はオークランド工業高校に進学し、ここでポウは著しい成長を見せた。ポウは兄弟の面倒を見るためにしばしば学校に通えないこともあったため、高校1年生の時には学業の遅れを取り戻すべく、周囲の助けを借りながら勉学に励んだ。そして2年生になるとバスケット選手として頭角を現し、チームの主力選手の一人が長期欠場したのを機会にエース級の活躍を見せるようになる。このシーズンは平均24得点13リバウンドの成績を記録し、州トーナメントでは準決勝まで勝ち進んだ。ポウの評判は瞬く間に広がり、アディダスABCDキャンプにも招待された。練習試合では15得点を記録し、大学やNBAのスカウトからも注目を集めるようになった。3年生のシーズンには平均28得点14リバウンド3ブロックの成績を残し、州トーナメントでは決勝にまで進出。決勝の4日前には、病の床に着いていた母親のランドリーが他界してしまうが、ポウは逆境にもめげずにチームを優勝に導いた。最終学年には27.4得点14.2リバウンド3.1ブロックの成績を残し、ゲータレード選出のカリフォルニア年間最優秀選手、パレード誌選出のオールアメリカファーストチームに選ばれた。州トーナメントも連覇し、マクドナルドの高校オールスターゲームにも出場した。彼の背番号は同校初の永久欠番となった。高校での目覚しい活躍により奨学金を得たポウは、カリフォルニア大学バークレー校に進学。1年目の2003-04シーズンから主力選手として活躍し、15.1得点9.5リバウンドの成績を記録し、Pac-10カンファレンスでは初となる1年生でのカンファレンスリバウンド王に輝いた。さらにカンファレンスの新人王も獲得した。翌2004-05シーズンは膝の故障によりシーズンを全休したが、翌2005-06シーズンには復活を遂げ、20.5得点10.1リバウンドの成績を記録し、カンファレンスの得点王とリバウンド王に輝いた。得点王とリバウンド王を同時に達成したのは同校初、カンファレンスでも6人目であった。またカリフォルニア年間最優秀選手、AP通信、ESPN.com、全米バスケットボール記者協会のオールセカンドチームに選ばれた。在学中の平均17.8得点は同校6位、9.8リバウンドは4位、2005-06シーズン通算フリースロー試打数270本、成功数194本は同校の新記録である。大学では2シーズンだけプレイし、2006年のNBAドラフトにアーリーエントリーした。
播磨国加古郡阿閇村古宮（現・兵庫県加古郡播磨町）で生まれる。幼い頃に父が亡くなり、年若い母が近村の濱田村に住む吉右衛門と再婚、異母兄の宇之吉と共に育つ。廻船を業とする父や兄の影響から船乗りの仕事に憧れていたが、母が良しとせず、2年ほど寺子屋へ通う。嘉永3年3月（1850年）、八百石積み和船の船乗りであった従兄弟からの誘いで、初めて四国の金毘羅詣での観光客を運ぶ和船に便乗した。嘉永4年3月（1851年）嘉永4年（1851年）の13歳の時に母を亡くす。その直後に義父の船に乗って海に出て途中で知人の船・栄力丸に乗り換えて江戸に向かう航海中、その船が10月29日（11月22日）に紀伊半島の大王岬沖で難破。2ヶ月太平洋を漂流した後、12月21日（1852年1月12日）に南鳥島付近でアメリカの商船・オークランド号に発見され救助される。その後、救助してくれた船員たちと共にサンフランシスコに滞在。アメリカ政府より日本へ帰還させるよう命令が出て嘉永5年3月13日（1852年5月1日）にサンフランシスコを出発し、5月20日（7月7日）に香港に到着する。そこから、東インド艦隊長官・ペリーの船に同乗し日本へ帰還するはずだった。しかしペリーがなかなか来ず、その間に香港で出会った日本人・力松（モリソン号事件での漂流民のひとり）の体験談を聞き自分達がアメリカの外交カードにされるとの懸念から、10月に亀蔵・次作とともにアメリカに戻る。なお、ほかの栄力丸船員の多くは、同じくモリソン号事件関係者で上海定住していた日本人・音吉に匿われ、後に清国船で長崎経由の帰国に成功している。ただひとり仙太郎はペリー艦隊に同行した。サンフランシスコに帰った後は、亀蔵・次作の2人とも別れて下宿屋の下働きなどをしていたが、税関長のサンダースに引き取られた。その後、ニューヨークに赴く。なお、亀蔵と次作はそれぞれ船員として働き、開国後に日本へと帰国している。嘉永6年8月13日（1853年9月15日）には日本人として初めてアメリカ大統領（当時はフランクリン・ピアース）と会見した。またサンダースによりボルチモアのミッション・スクールで学校教育を受けさせてもらい、カトリックの洗礼も受けた。安政4年11月25日（1858年1月9日）にはピアースの次代の大統領ジェームズ・ブキャナンとも会見した。そして安政5年（1858年）、日米修好通商条約で日本が開国した事を知り日本への望郷の念が強まった彦蔵はキリシタンとなった今ではそのまま帰国することはできなかったので、帰化してアメリカ国民となった。その翌年の安政6年（1859年）に駐日公使・ハリスにより神奈川領事館通訳として採用され、6月18日（7月17日）に長崎・神奈川へ入港し9年ぶりの帰国を果たした。翌年2月に領事館通訳の職を辞め、貿易商館を開く。しかし当時は尊皇攘夷思想が世に蔓延しており外国人だけでなく外国人に関係した者もその過激派によって狙われる時代であったため、彦蔵は身の危険を感じて文久元年9月17日（1861年10月20日）にアメリカに戻った。再度アメリカに帰った後は、文久2年3月2日（1862年3月31日）にブキャナンの次代の大統領エイブラハム・リンカーンと会見している。同年10月13日（12月4日）に再び日本に赴き、再び領事館通訳に職に就く。文久3年9月30日（1863年11月11日）に領事館通訳の職を再び辞め、外国人居留地で商売を始めた。翌元治元年6月28日（1864年7月31日）、岸田吟香の協力を受けて英字新聞を日本語訳した「海外新聞」を発刊。これが日本で最初の日本語の新聞と言われる。ただしこの新聞発行は赤字であったため、数ヵ月後に消滅した。慶応4年8月7日（1868年9月22日）、18年ぶりに帰郷。明治2年（1869年）6月には大阪造幣局の創設に尽力した。その後は大蔵省に務めて国立銀行条例の編纂に関わったり茶の輸出、精米所経営などを行なった。明治30年（1897年）12月12日、心臓病の為東京の自宅にて61歳で死去。日本人に戻る法的根拠が無かったことから死後、外国人として青山の外国人墓地に葬られた。尚、国籍法が制定されたのは明治32年（1899年）のことであった。