Μετά την παραίτησή του το 1807 από το υπουργείο, άρχισε να δέχεται δωροδοκίες από εχθρικές δυνάμεις (κυρίως την Αυστρία αλλά και τη Ρωσία), για να προδώσει μυστικά του Ναπολέοντα. Αντιτάχθηκε στην περαιτέρω σκληρή μεταχείριση της Αυστρίας το 1809 μετά τον πόλεμο του Πέμπτου Συνασπισμού. Ήταν επίσης αρνητικός στη γαλλική εκστρατεία στη Ρωσία το 1812 και από τότε απομακρύνθηκε οριστικά από τον Αυτοκράτορα, ο οποίος, μετά την καταστροφική υποχώρηση από τη Ρωσία, τον κάλεσε να αναλάβει πάλι τα καθήκοντά του στα τέλη του 1813 αλλά ο Ταλλεϋράνδος αρνήθηκε, καθώς ήδη σχεδίαζε την παλινόρθωση των Βουρβόνων.