Fengslingen, fraværet av alkohol og omgangen med Rimbaud, fikk en gjennomgripende innvirkning på hans liv. I fangenskapet besluttet han å oppgi det ville bohemlivet og konverterte til katolikk, «en nesten ynkelig konvensjonell religiøsitet», noe som igjen påvirket hans diktning, og som provoserte Rimbaud til skarp kritikk. Fengselsoppholdet hadde positiv effekt på flere vis: Han studerte Shakespeare og Cervantes. Mellom 1872 og 1873, delvis i fengselet, skrev han den vesentlige diktsamlingen («Sanger uten ord»), utgitt 1874. Dikteren ønsket i denne samlingen «Bedre uttrykke den sanne vag», og frigjorde seg fra klassisismens formspråk som resulterte i «dristigere synkoper og enda mer forføreriske vokalharmonier». Tittelen er hentet fra et sett med klaverstykker av Felix Mendelssohn. Samlingen var inspirert av Verlaines nostalgisk fargede erindring om samlivet med Mathilde på den ene siden, og impresjonistiske skisser fra sin lange eskapade til-og-fra med Rimbaud. Samlingen ble utgitt mens han ennå satt inne.