Verlaine kom tilbake til Paris i august 1871, og i september mottok han det første brevet fra en ung mann på 17 år ved navn Arthur Rimbaud som ba om oppmuntring og støtte for sin poesi. I 1872 mistet han sin interesse i sin hustru Mathilde, og forlot henne høygravid med deres sønn. Han foretrakk selskapet til Rimbaud som han innledet et forhold til. Rimbaud og Verlaines stormfylte affære førte dem til London i 1872. Forholdet synes alltid å ha vært vaklende og urolig, og har blitt emne for tallrike bøker, filmer og merkverdigheter. Dels hadde det sin årsak i Verlaines egen karakter, dels innflytelsen av den sterkere og mer demoniske Rimbaud, til tross for dennes yngre år. Verlaine skled inn i det mest ytterliggående bohemliv. De to mennene stakk av, ranglet seg gjennom Belgia og til England hvor de bodde et års tid. På vegen tilbake, tok forholdet en brå slutt den 12. juli 1873 i Brussel da Verlaine i et forfyllet sjalusiutbrudd fyrte av to skudd med en pistol mot Rimbaud. Den andre ble lettere såret i venstre håndledd, men uten alvorlig skade. Indirekte som et resultat av denne hendelsen ble Verlaine arrestert og fengslet i 18 måneder i byen Mons i Belgia.