Ranskan armeijan valloitettua Puolan neljännen liittokunnan sodan aikana vuonna 1806 Walewska tutustui nuoreen ranskalaiseen luutnanttiin Charles de Flahautiin, joka oli Ranskan ulkoministerin Charles Maurice de Talleyrandin avioton poika. Walewska lähti aviomiehensä kartanosta ja ryhtyi työskentelemään vapaaehtoisena ranskalaisessa sotilassairaalassa Varsovassa. Hän saattoi tavata Napoleonin ohimennen jo tämän ollessa matkalla kohti Varsovaa, mutta he tutustuivat viimeistään tanssiaisissa, jotka järjestettiin Varsovassa tammikuussa 1807 keisarin kunniaksi tämän saapuessa kaupunkiin. He aloittivat pian suhteen. Puolan poliittiset johtajat toivoivat Napoleonin palauttavan maan menetetyn itsenäisyyden ja ilmeisesti kannustivat Walewskaa ryhtymään isänmaallisista syistä Napoleonin rakastajattareksi voidakseen vaikuttaa tämän Puolan-politiikkaan. Rakastavaiset oleskelivat huhtikuusta kesäkuuhun 1807 yhdessä Finckensteinin linnassa Itä-Preussissa. Vielä samana vuonna Napoleon perusti Varsovan herttuakunnan, joskin suurin osa Puolasta jäi yhä Venäjälle eivätkä puolalaiset patriootit olleet tähän tyytyväisiä.