Walewskin vanhemmat olivat Ranskan keisari Napoleon ja tämän puolalainen rakastajatar Maria Walewska, mutta virallisesti hänen isäkseen merkittiin Walewskan ensimmäinen aviomies, puolalainen kreivi Anastazy Colonna-Walewski (1736–1815). Hän menetti lapsena sekä kasvatti-isänsä että äitinsä. Walewski varttui Kongressi-Puolassa, mutta lähti maasta 14-vuotiaana, koska hän ei suostunut palvelemaan Venäjän armeijassa. Hän sai turvapaikan Ranskasta ja asettui Pariisiin. Vuonna 1830 Ranskan uusi kuningas Ludvig Filip lähetti hänet Puolaan, joka oli tuolloin kapinassa Venäjää vastaan. Walewski oli hetken aikaa Puolan kapinahallituksen edustajana Lontoossa. Kapinan kukistuttua hän hankki Ranskan kansalaisuuden ja palveli Ranskan armeijassa Algeriassa. Jätettyään armeijan vuonna 1837 hän ryhtyi lehtimieheksi. Hän kirjoitti myös näytelmän "L’École du monde".