Carlo Rossi lahir pada tanggal 18 Oktober 1775 di Napoli (ayah tirinya adalah seniman balet terkenal, Charles le Picq) dan dibawa ke Rusia pada masa kecilnya ketika ibundanya Guertroude Rossi-Le Picq, seorang balerina yang terkenal, diundang ke Rusia untuk tampil. Dari pemuda ia terhubung dengan dunia kesenian. Ia dilatih di studio arsitek Vincenzo Brenna. Pada tahun 1795 ia memasuki dinas dewan arsitektur; sebagai asisten Brenna, bersama dengan siapa, dianggap, dia berpartisipasi dalam pembangunan Kastil St. Mikhail di Sankt-Peterburg. Dari tahun 1802 sampai 1803 Rossi belajar di Italia. Pada tahun 1806 ia memperoleh gelar arsitek dan perkantoran. Pada tahun 1808 dia dikirim ke ekspedisi arkeologi Kremlin di Moskwa, di mana dia membangun Gereja Biara Starodevichy dan teater di Arbat Square, yang terbakar habis selama invasi Napoleon ke Rusia. Dia dihargai dengan Ordo St. Vladimir tingkat IV. Pada tahun 1814, ia memperoleh pangkat dari Kanselir Collegiate. Pada tahun 1815, dia kembali ke Sankt-Peterburg. Pada tahun 1816, ia ditunjuk untuk posisi di komite struktur dan pekerjaan hidraulis.