1965年4月、ビゴは日本の東京で開かれる見本市でパンを焼く職人の募集に応じ、日本へ渡った。派遣を決めたのは、ビゴが国立製粉学校で師事し、卒業後も交流のあったレイモン・カルヴェルであった。ビゴが若いことを懸念する声に対しカルヴェルは、「誰も指導者に生まれる者はいない、指導者になるのだ。少々時間がかかったとしても、ビゴはそうなっていける器ではないだろうか」と庇ったという。当時ビゴは母親を亡くしたばかりで、「他の誰にも埋めようのない虚ろな思い」を抱えながら毎日を送っていた。ビゴは当時のことを「母なら日本行きに反対したでしょう」「もし母が生きていたら、来なかったでしょう」と振り返っている。見本市終了後、フランスパンの製造に携わった兵庫県神戸市のパン屋ドンクの三宮店に技術指導員として勤務することになった。1966年8月にドンクが東京の北青山に店舗（青山店）を開くと同店へ移った。オーブンを客から見える場所に置きフランス人の職人がパンを焼くスタイルが人気を博し、出店後まもなくフランスパンブームが起こった。それまで日本人にとってフランスパンとは「塩味が強く、固いコッペパン」を意味する言葉であった。しかしビゴが焼くフランスパンは「皮は薄くぱりっとしていて香ばしい」、「薄いクリーム色の中身はしっとりやわらかい」という、従来とは大きく異なるものであった。塚本有紀は、このようなタイプのフランスパンはレイモン・カルヴェルによって日本にもたらされ、ビゴによって広められたと評している。全日本洋菓子工業会元理事長の細内進は、「日本にこんなにフランスパンが普及したのは、ビゴがよい仕事をしたおかげですよ。いくらめずらしくっても、ビゴの技術がどうしようもなかったら日本人は飛びつかなかったはずです」と評価している。1966年秋頃から1967年にかけてフランスパンブームが起こり、ファッションの一部とされるようになった。それまで主流を占めていたロールパンとの間で起こったシェア争いは「青山ベーカリー戦争」と呼ばれる。この時期にドンク青山店は1日に2トンの小麦粉を消費し、ビゴが1人で小麦粉900kg分のパンを焼いたこともあったという。ドンクは1968年にフランチャイズ方式による店舗の全国展開（ドンク・フランスパン・チェーン）を開始。ビゴは札幌、神戸、京都と赴任先を変えながら全国の店舗を指導して回った。なお、この時期にビゴは日本人の女性と結婚している。
17歳の時にパリへ移り、見習い生活のかたわら国立製粉学校の製パン科、さらに食品業職業訓練センターに通い、パン職人と菓子職人の職業適性証（CAP）を取得。正式な職人としてクルブヴォアで働いた。19歳の時に徴兵され、レ・ゾンドリス、次いでドルーに配属された。その後アルジェリア戦争の最中にあったフランスの植民地アルジェリアへ配属される予定であったが1962年3月に戦争が終結しアルジェリアが独立を果たしたためレ・ゾンドリスへ戻り、そのまま兵役を終えた。ビゴ曰く、軍からの表彰を辞退するなどしたことから1年半のうち72日間を営倉の中で過ごした。兵役を終えた後は再びクルブヴォア、パリで働いた。
1942年9月17日、ドイツの占領下にあったフランス・ノルマンディー地方に6人兄弟の4番目（長男）として生まれる。生家は祖父の代から続くパン屋であった。ビゴの名前は正式にはフィリップ・カミーユ・アルフォンス・ビゴであるが、このうちカミーユとアルフォンスは父親が出生届を出した際に応対した役所の戸籍係の名前である。ビゴの誕生後、父親の経営するパン屋は業績を伸ばし、イヴレ＝レヴェックから隣接するル・マン、さらにサン・ピエール・シュール・ディーヴ、ラ・ガレンヌ＝コロンブと、徐々に大きな都市へ移っていった。ビゴは8歳の時から父親の仕事を手伝い始め、義務教育を終えた14歳の時から見習いとして働くようになった。15歳の時に父親と喧嘩をして家を飛び出し、ラ・ガレンヌ・コロンブの別のパン屋で見習いを続けた。
天授3年/永和3年（1377年）、南北朝時代の武将楠木正勝（楠木正成の孫）と、紀氏当主紀俊文の娘の間に産まれる（『全休庵楠系図』）。幼名は多聞丸、長じて正盛と名乗った（『全休庵楠系図』）。また、幼名を萩王、のちに正尭と称した弟がいる（『全休庵楠系図』）。誕生した当時、楠木氏は北朝側についた惣領で祖父の楠木正儀と、南朝側にとどまった一部の宗族で割れていた。しかし、弘和2年/永徳2年（1382年）、数え6歳のときに祖父正儀が南朝に帰参したことで楠木氏内の対立は解消し、その後6-7年の間に祖父が死去して父の正勝が惣領となった。元中9年/明徳3年閏10月5日（1392年11月19日）、数え16歳のとき、亡き祖父・正儀が進めてきた和平交渉が功を奏して南北朝合一（明徳の和約）。南朝最後の帝後亀山天皇の入京時に供をした武士の中に、7人の楠木党の武士および楠木同族の河内和田氏の武士1人が含まれていたことが知られている（宮内庁書陵部『南山御出次第』）。ところが、父の正勝は徹底抗戦の道を選び、北朝側には合流しなかった。応永6年（1399年）の応永の乱にて、父ら一族と共に、幕府に反乱した大内義弘方に参戦（『全休庵楠系図』）。堺に三ヶ月の篭城の末に敗北。北畠家重臣鹿伏兎氏（かぶとし）の伝承では、幕府方として参戦していた北畠顕泰が鹿伏兎孫太郎忠賀に命じ、楠木氏を幕軍に変装させて城内から救出したと言い伝えられている（『鹿伏兎記』『鹿伏家楠氏詳伝』『邑戦異闘家記系図』）。河内国大伴邑（現在の大阪府富田林市大伴地区）まで逃れたところ、父正勝は戦傷が悪化し、応永7年1月5日（1400年1月31日）に死去（『全休庵楠系図』）。父を林中に埋葬した後、弟の正尭は丹波国（現在の京都府中央部から兵庫県東部）へ、自分は北畠氏の本国である伊勢国鈴鹿郡鹿伏兎谷平之沢（現在の三重県亀山市加太市場、あるいは亀山市関町金場）へ逃れた。以後正盛（のち正顕）の系統は、伊勢楠木氏としてこの地に根付いた。