Talbot vendte i 1655 hjem, hvor han ble arrestert mistenkt for deltakelse i mordplaner mot Cromwell, men lyktes i å flykte til Brussel. Han kom tilbake med Karl II i 1660 og ble kammerherre og personlig fortrolig med broren Jakob.