Han ble først offentlig kjent som følge av at hans kone hadde en affære med dikteren lord Byron. Skandalen var et av årets store samtaleemner i Storbritannia i 1812. Selv om Caroline Ponsorby avsluttet sitt forhold til dikteren, ga hun aldri opp å interessere seg for ham. Hun skrev blant annet en bok i 1816, der hun selv ektemannen og Byron åpenbart er forbilder for personene i boken. Ektefellene ble separert i 1825. Lamb følte seg ydmyket, men ved hennes død i 1828 satt han ved sengen hennes.