兄は父のいるフィレンツェに引き取られたが、ルイ・ナポレオンは母オルタンスとともにバーデン大公カールの庇護でコンスタンツに身を隠した。オルタンスはバイエルン王女アウグステと結婚した兄ウジェーヌのおかげで金銭的には裕福であり、スイスを中心に各地を転々として暮らした。最終的にはスイスのアレネンベルクとバイエルン王国のアウクスブルクに居を落ち着けた。ルイ・ナポレオンは母から甘やかされて育ったが、1820年6月から厳格なピューリタン・共和主義者のフィリップ・ル・バが家庭教師に付き、朝6時から夜9時まで続く猛勉強の生活を送るようになった。1821年夏に母がアレネンベルクへ移住したが、ル・バの提言によりルイ・ナポレオンはアウクスブルクに残って同地のギムナジウムに通う事になった。ギムナジウムでの成績は並みだった。この頃にドイツ語を身につけ、彼のフランス語は後々までドイツ語訛りになった。反ナポレオン同盟国はスイス政府に対してボナパルト一族の者を滞在させないよう圧力をかけていたが、1821年5月にナポレオンがセント・ヘレナ島で没した後には同盟国のボナパルト一族に対する警戒も弱まっていった。1827年9月にル・バが家庭教師から解任された。ルイ・ナポレオンが旅行に出たり、社交界で女性と親しくすることを許さなかったのが原因とされる。
1814年3月31日にパリは反ナポレオン同盟軍によって陥落させられ、ナポレオンは廃位のうえエルバ島の領主に左遷された。反ナポレオン同盟国はフランスを革命前の状態に戻すべく、5月にブルボン家のルイ18世による復古王政を樹立させた。しかし母オルタンスは反ナポレオン同盟国総司令官であるロシア皇帝アレクサンドル1世に接近して身の保全を図り、ルイ18世から引き続きパリに滞在することを許されたため、この最初のナポレオンの失脚ではルイ・ナポレオンの生活にも大きな変化は生じなかった。1815年3月にエルバ島を脱出したナポレオンは「人民の権利」「反封建制」を掲げてパリの民衆や軍隊の支持を獲得し、人心を掌握できないでいたルイ18世をパリから追って「百日天下」と呼ばれる一時的な復権を果たした。この時ナポレオンはオルタンスに対して「お前が私の大義を捨てるとは思わなかった」と述べて彼女がルイ18世やロシア皇帝にすり寄ったことを非難したが、罰せられる事はなかった。それどころかナポレオンの皇后マリアと皇太子ナポレオン2世がすでにオーストリアに引き取られていたため、オルタンスとその子供らが代役を果たすことになり、ルイ・ナポレオンもナポレオンと一緒に暮らすようになった。1815年6月12日にナポレオンは再び結成された反ナポレオン同盟軍と戦うためパリを発つことになり、ルイ・ナポレオンとの最後の別れの際にアンリ・ガティアン・ベルトラン大元帥に対して「この子を抱いてやってくれ。心根の優しい子だ。いつの日か我が一族の希望となるかもしれない。」と語ったという。もっともこの逸話は後年にナポレオン3世自身が語ったものであるため、事実かどうかは疑わしいとされる。結局ナポレオンは6月18日にワーテルローの戦いにおいてイギリス軍とプロイセン軍に敗北を喫した。ナポレオンは再び廃位されてイギリス領セント・ヘレナ島へ流された。7月6日には再度ルイ18世がパリへ帰還し、復古王政を再開した。今回のルイ18世はオルタンスとその子供たちがパリに滞在することを許さず、7月19日に母子は国を追われ、亡命生活を送ることを余儀なくされた。
男寺党は数十人のグループで、朝鮮半島各地を旅した。立ち寄った村で、男寺党ノリと総称される農楽や仮面劇、コクトゥカクシノルムという人形劇、曲芸などを披露し、村の発展と人々の健康を祈願し、喜捨を集めて生活をした。名目は寺院の建立や補修の為の勧進であり、寺を中心に活動した為この名称がある。李氏朝鮮では賤民（非自由民）の中の八般私賤の一つに数えられた。40から50人の男のみで構成された集団で、正妻を持たず独自の社会を構築していた。男寺党の活動は農漁村が中心に行われた。興業は田植えの時期から晩秋の期間に行われ、冬の期間はもっぱら団員の訓練に充てられた。1ヶ所に留まることができない放浪の旅は過酷であり、食糧の備蓄が尽きた時は春まで離散して越年する場合もあった。男寺党は男色を集団の絆とした組織であり、昼は芸を見せ、夜は若い座員を貸し出し売春によって収入を得ていた。そのため、男寺党の興業は風紀を乱すとの理由から1ヶ所につき1日限りと決められていた。女性が主構成員の場合には単に寺党、もしくは女寺党（ヨサダン）と称した。寺党は居士と呼ばれる男と寺党と呼ばれる女が一組となった夫婦の集団であり、女に簡単な踊りをさせたり売春をさせて収入を得ていた。男寺党は、コットゥソェ（꼭두쇠、団長）、ゴルペンイソェ（골뱅이쇠、副団長、企画）、トゥンソェ（뜬쇠、各分野の長）、カヨル（가열、演技者）、ピリ（삐리、見習い。女装をした稚児）、ジョスンペ（저승패、冥土衆、元老）、ドンジムクン（등짐꾼、担ぎ人夫）で構成された。コットゥソェは合議によって選出され、組織に関する全ての決定権を持った。カヨル以上の階級は男だが、ピリは女装して男に従う役割を担った。ピリの人数は限られていたため争奪戦は激しく、コットゥソェであっても1人のピリしか持てなかった。ピリの補充は貧農からの口減らしや孤児、家出の子供をもらってくる場合が多かったが、時には誘拐も行われた。後期には少人数の女性も男寺党に加わるようになった。その一人にパウドギ（바우덕이、本名 김암덕 金巖德、1848∼1870）という人物がいる。彼女は朝鮮時代、安城市の貧しい農家に生まれ、4歳のときに男寺党に入り14歳で一座を率いた。19歳で難病に掛かり22歳でその生涯を閉じた。現在安城市にはパウドギ堂と銅像が建てられている。