Hans vägran kom efter Tory MP Sir Nicholas Soames sade att han hade "vilsamt traducerat" den tidigare hemsekreteraren.
Men Graham Watson sade till generalerna att han hade "rätt att kräva att riktlinjerna följs" och att de som överlevde övergreppen hade "förringats alltför länge".
Lord Brittan dog omedveten om att polisen hade lagt ner en våldtäktsutredning mot honom.
Crown Prosecution Service fann i juli 2013 att det inte fanns tillräckligt med bevis för ett åtal över fordran Lord Brittan hade våldtagit en 19-årig kvinnlig student 1967.
Graham Watson efterlyste senare en fullständig granskning av alla anklagelser om missbruk som riktats mot kamraterna, som dog i januari.
Graham Watson försvarade sitt uppförande och sade till underhuset att han gjorde rätt i att ta upp frågan.
"Jag förstår MPs känner arg Leon Brittan intervjuades av polisen och de är arga på min användning av språk, men jag är säker på att de också skulle hålla med om att när någon anklagas för flera sexuella brott av många helt orelaterade källor polisen har en skyldighet att utreda, oavsett vem det är," sade han.
Graham Watson hänvisade till premiärminister David Camerons kommentarer tidigare, som uppmanade honom att "granska sitt samvete" över sina handlingar, efter det att lord Brittans bror bad om en ursäkt för "ogrundade anklagelser".
"Jag anser att vi alla måste undersöka våra samveten i denna kammare, vi ledde en situation där barn har misshandlats och sedan ignorerats, avfärdats och sedan föraktats.
"Om någon förtjänar en ursäkt är det dem", tillade Graham Watson, till rop av "skammen" från de konservativa partibänkarna.
Sir Nicholas, som hade begärt en ursäkt till lord Brittans familj i en ordningsfråga, sade efteråt att Graham Watsons uttalande var en "icke ursäkt" och att hans uppförande var "helt oacceptabelt".
"Han har blivit häxa-finder general," sa han till BBC Radio 5 live. "Jag tror verkligen att vi måste få ordning på den här debatten som håller på att ta slut."
Samtidigt har BBC News fått ett brev skrivet av Graham Watson till chefen för offentliga åtal Alison Saunders i april 2014 om våldtäktsanklagelsen mot Lord Brittan.
I brevet sade han att han var "driven till den opassande slutsatsen att identiteten på den påstådda förövaren - Leon Brittan - på något sätt kan ha påverkat behandlingen av fallet".
Graham Watson klargjorde också att han skrev brevet efter klagomål från det påstådda offret om hur ärendet hade hanterats och uppmanade Saunders att se över det igen.
BBC förstår också att fyra konservativa parlamentsledamöter har bett utskottets ordförande Keith Vaz att sätta Watsons åtgärder på dagordningen när det sammanträder på tisdag.
Premiärministern sade till LBC radio: "Huset of Commons utvalda utskott kommer helt riktigt att ställa honom några frågor så jag är säker på att han bör svara på dessa frågor och undersöka sitt samvete om han har sagt tillräckligt hittills."
I fredags medgav Watson att han inte borde ha upprepat ett påstående om att Lord Brittan var "nära ondskan" och sade att han var ledsen för att ha orsakat den brittiska familjen bekymmer.
Men parlamentsledamoten sade att han hade velat påståendena mot Lord Brittan, vars karriär innefattade två år som inrikesminister i Margaret Thatchers regering, "rätt utredd".
Efter att fallet hade återupptagits förra året intervjuade officerarna lord Brittan, som då hade dödlig cancer, men inga åtal väcktes.
Labours vice ledare Tom Watson har vägrat be om ursäkt för att ha krävt att polisen utreder sexuella övergrepp mot den framlidne lord Brittan.