三重県志摩郡片田村（現・志摩市志摩町片田）に、漁師の平賀利三郎の一人息子に生まれた。絵を描くことと西洋絵画への興味から、漁師を継がず、1906年3月、16歳の時、神戸港から外国船でサンフランシスコに渡った。父親からもらった300円を手にアメリカにわたり、1955年まで日本に戻ることはなかった。1906年4月、米国移民となり、時計宝石店の見習いや、サンペドロで漁師として働いて学資を稼ぎ、1909年からサンフランシスコ美術学校で、ページズ（Jules Eugene Pages）に学んだ。1915年に学校の展覧会で大賞を得て卒業した。同じ年のサンフランシスコ万国博覧会で日本館の装飾の仕事を行ない、アメリカ国内やハワイなどの各地の日本大使館の内装の仕事を依頼されるようになった。1925年にパリに渡り、私立学校のアカデミー・ジュリアンに入学し、リュシアン・シモンやジャン＝ポール・ローランスに学んだ。