Tisdagens 3-2 seger på Plymouth Argyle avslutade en åtta-spelet winless körning och innebär att O är bara i drop zone på målskillnad.
"Jag måste hålla pojkarna utegångsförbud men jag har låtit dem vara glada eftersom de förtjänar det", sa han BBC Radio London.
"Jag kommer inte att ryckas med om vi vinner eftersom vi fortfarande är tvåa från botten."
Webb, 33, är den yngsta chefen i den engelska fotbollsligan och blev Orientens fjärde chef för säsongen den 29 januari.
Den tidigare Southend och Hull strejkaren har tvingats förlita sig på unga spelare, med 10 av truppen på Home Park är produkter från East London klubbens akademi.
Efter att ha avslutat en sex-spel förlorar strimma i sin tredje match som chef mot Yeovil på lördag, sena mål från Gavin Massey och Sandro Semedo gav Orient sin första seger sedan slå Crawley på boxningsdagen.
"Jag är ny i ledningen men jag har förtroende för min egen förmåga och jag vet hur man sätter upp ett team," Webb tillade.
"Jag vet vad de unga spelarna kan ge; hjärta, passion och allt vad supportrarna vill se.
"Det är länge sedan vi har varit lyckliga efter en match men vi har en lång väg att gå. Det är ingen mening med att alla säger att vi spelar bra och har laganda om det bara är för fyra matcher."
Men, segern på Plymouth har fördärvats av Argyle rapporterar O: s skeppare Liam Kelly till fotbollsförbundet för en påstådd knuffa på en boll pojke.
Under tiden, försvarare Nicky Hunt plockade upp sin 10: e varning för säsongen och kommer att missa lördagens besök av andra kämpar Notts County, som hanteras av tidigare O: s spelare-manager Kevin Nolan.
Leyton Orient boss Danny Webb vill att hans trupp ska förbli fokuserad i deras League Two relegation strid efter inspelningen av deras första seger 2017.