Mediauppspelning stöds inte på den här enheten
Simon Mignolet ersatte 23-åriga Karius, som kritiserades av puntits, inklusive före detta Manchester United spelare Gary och Phil Neville, efter fel mot West Ham och Bournemouth.
"Jag är inte intresserad av offentliga påtryckningar, jag är intresserad av pojken", sade Klopp.
"Det finns ingen anledning att pressa honom genom situationen, han förlorar självförtroende."
Den tyske chefen tillade: "Karius har en hel del saker som andra målvakter vill ha. Vi vill utveckla spelarna - vi vill inte övertyga folk om att han inte är dålig.
"Jag känner honom riktigt bra och han är mycket bättre än han har varit i de senaste två matcherna. Det är en situation som Liverpool har som ett långsiktigt projekt."
Klopp signerade Karius från sin före detta klubb Mainz för £4.7m på sommaren och den tyska har spelat 10 Premier League-matcher, hålla tre rena lakan.
Men en fumla för Bournemouths sena vinnare den 4 december föranledde kommentarer från Gary Neville, medan tidigare Liverpool försvarare Jamie Carragher sade att innehavaren var "ännu att övertyga" och behövde "massiv förbättring".
Mediauppspelning stöds inte på den här enheten
Karius försvarade sig i en artikel och Klopp ifrågasatte också ordstäverna, kommentarer som han nu säger var "inte seriösa".
"Jag vill bara visa hur det känns när man blir kritiserad utan att göra något fel", tillade 49-åringen. "Punkterna måste få veta hur det känns."
Klopp sa att han har "ingen tidsram" för när Karius kommer att återvända till start XI, lämnar öppen möjligheten Mignolet kan spela igen i måndags Merseyside derby på Everton (20:00 GMT kick-off).
Den Belgien internationella, 28, gjorde tre räddningar som Liverpool dominerade på Riverside Stadium på onsdag, inklusive att vända en kraftfull Viktor Fischer sköt runt inlägget när poängen var 1-0.
De röda flyttade andra i Premier League tabellen efter segern, som innehöll två mål från Adam Lallana och Divock Origi femte mål i så många matcher.
Gary Nevilles bror Phil berättade för BBC Radio 5 live: "Jag tror inte att vi är de enda som har kritiserat Karius. Min kritik mot honom var inte för hans uppträdande på söndag eller under de senaste spelen, det var för tidningsintervjun han gjorde och kommentarerna han gjorde om Carragher och Gary.
"Kanske när du går igenom en tuff period, Jag skulle ge honom samma råd jag fick vilket är att hålla huvudet nere, inte göra några press intervjuer tills du har en bra några spel och vinner under bältet. Då kan du göra dina intervjuer.
"Mitt råd var inte att målvakten inte är bra. Beslutet att lämna honom ute i går kväll - att ta ut honom från skottlinjen - var det rätta och det var motiverat i Mignolets framförande. Karius är en ung målvakt. Han kommer att studsa tillbaka."
Liverpool manager Jurgen Klopp har backat Loris Karius att vara en "långsiktig" framgång, trots att släppa väktaren för 3-0 seger på Middlesbrough.