Mediauppspelning stöds inte på den här enheten
Lallana slog i 95: e minuten för att försegla en 5-4 seger ögonblick efter Sebastien Bassong hade utjämnas för Kanarieöarna.
Klopp blev överhopad av sina spelare - och hans varumärkesspecs halkade bort.
"Jag har ett andra par glasögon, men jag kan inte hitta dem", sade Klopp. "Det är svårt att hitta glasögon utan glasögon."
Klopp har brutit sina glasögon tidigare under en match, med detta par bor i hans tidigare klubb Borussia Dortmunds museum.
"Vi vann för första gången mot Bayern München och Nuri Sahin bröt mina glasögon. Idag var det Adam Lallana", tillade han.
Läs om hur det dramatiska spelet utvecklades
Klopp må ha leit på halvtid men bara några ögonblick tidigare han var fuming på sina spelare för att tillåta Bassong att göra det 4-4.
De rödas försvar hade varit särskilt dåligt hela tiden, med Norwich har gjort poäng från varje skott de hade på målet att leda 3-1.
"Det var ungefär 70 minuter som var riktigt bra", sade 48-åringen.
"Att uppnå fyra mål är i allmänhet inte bra. Att sluta från set pjäser är det största skräpet någonsin eftersom det är för lätt för det andra laget.
"Vanligtvis medger vi från ett hörn men nu var det från den andra bollen - vi var som kaniner i strålkastarna, men vi vann matchen i slutändan."
Mediauppspelning stöds inte på den här enheten
Klopp var inte den enda person som tyckte att hans sida borde ha försvarat bättre i spelet.
"Jag är inte glad uppenbarligen", sade Norwich chefen Alex Neil.
"Spelet var i våra händer på 3-1 men efter det lyckades vi förvandla en riktigt bra prestanda till lite av en röra."
Liverpool manager Jurgen Klopp och hans spelare firade Adam Lallana s stoppage-time vinnare på Norwich så vilt att den tyska slutade bryta sina glasögon.