Lamb llamó la atención del público por vez primera por razones que preferiría haber evitado: su esposa tuvo un affair público con Lord Byron —ella acuñó la famosa caracterización de Byron como "loco, malo y peligroso de conocer".