Mr Justice Openshaw berättade för Old Bailey att den 87-årige kamraten hade "avancerat och inaktiverat demens".
Både åklagar- och försvarsadvokaterna hade vid en tidigare utfrågning kommit överens om att Greville Janner inte var tillräckligt bra för att delta i en rättegång.
Lord Janner anklagas för 22 sexualbrott mot pojkar.
Kamraten, som blev avstängd från Labourpartiet i april, och hans familj har alltid förnekat något orätt från hans sida.
Han anklagas för 15 fall av oanständig misshandel och sju fall av ett separat sexuellt brott mot totalt nio påstådda offer.
The Old Bailey hörde anklagelserna spänna över åren 1963 till 1998. Tjugoen av anklagelserna gäller barn som var 16 år eller yngre vid den tidpunkten.
Domaren, som fattade sina beslut baserade på en rad medicinska rapporter från fyra experter, sade: "Den tilltalade har avancerat och invalidiserande demens som har försämrats och är oåterkallelig, och följaktligen finner jag att han är olämplig att vädja."
Domarens utslag gjordes på grundval av att Lord Janner inte skulle kunna förstå anklagelserna mot honom, instruera advokater eller lägga fram en vädjan.
Justitieminister Openshaw sammanfattade rapporterna och sade att även om allmänheten hade varit "orättvist skeptisk" i ärendet, hade de rätt att veta hur han hade kommit fram till sitt beslut.
Lord Janner är oförmögen att minnas viktiga händelser från sitt liv, med en rapport från februari 2014 som säger att han inte kunde namnge sina barn eller barnbarn, komma ihåg var han hade gått i skolan, eller återkalla detaljer om sin parlamentariska karriär.
I den senaste rapporten, från september, uppgavs att lord Janner inte har något korttidsminne, knappt känner igen sin familj och "kan nu knappt tala".
En "rättegång av fakta" planeras äga rum i april, när en jury kommer att besluta om han begått övergreppet, utan att hitta skuld eller fällande dom.
Det är ett relativt sällsynt förfarande som normalt används i fall där en svarande utgör en fara och behöver läggas in på sjukhus för sin egen och andras säkerhet.
Direktören för offentliga åtal Alison Saunders beslutade i april att det inte låg i allmänhetens intresse att Lord Janner ställdes inför rätta på grund av sin demens.
Hennes beslut baserades på expertrapporter, varav två beordrades av försvaret och två av åklagaren.
Det upphävdes efter en oberoende granskning som begärdes av sex av de påstådda offren och beslutet om Lord Janners lämplighet att överklaga överlämnades sedan till högsta domstolens domare som nu har avkunnat ett avgörande i ärendet.
Greville Janner blev lord Janner av Braunstone 1997. Han är fortfarande en livskamrat, men har varit tjänstledig sedan 2014.
Lord Janner var inte tvungen att närvara vid hovet på måndagen. Ytterligare en utfrågning hölls den 7 mars.
Lord Janner är olämplig att ställas inför rätta över anklagelser om sexuella övergrepp mot barn som sträcker sig över fyra decennier, har en domare i högsta domstolen dömt.