På 1960- och 70-talen var andarna hos en massa dömda japanska krigsförbrytare "förkrympta" där.
De mest kontroversiella var de 14 "klass A" krigsförbrytare, inklusive krigsledare Hideki Tojo, som var "förkrympta" i slutet av 1970-talet.
Dessa män var de som beordrade och övervakade Japans brutala krig i Kina och Sydostasien.
Yasukuni-sanning
Det var ett krig där miljoner dog, där det förekom omfattande massakrer av civila, där våldtäkter rutinmässigt användes som vapen och där Japan använde kemisk och biologisk krigföring mot civila.
Så om helgedomen är så kränkande för Kina och Sydkorea varför åkte Mr Abe?
För det första för att han ville det.
Nära iakttagare av den japanske premiärministern säger att han är i centrum en nationalist och en historisk revisionist.
Han anser att de rättegångar som dömde Japans krigsledare var "offrens rättvisa".
Hans egen farfar Nobusuke Kishi tjänstgjorde i krigsskåpet och arresterades av amerikanerna som misstänktes vara krigsförbrytare i klass A. Han släpptes senare utan kostnad.
Men fläcken i samband med Japans krigsförbrytelser i Kina försvann aldrig helt.
För det andra kommer Abes stödbas från det liberala demokratiska partiets högerflygel.
Enligt professor Jeff Kingston vid Temple University i Tokyo är Mr Abe "visar att han är en tuffing", att han inte är rädd för Kina. Det är något som spelar mycket bra till hans bas.
Men det finns kanske ett större mål som Abe har i åtanke.
Han vill radikalt se över Japans konstitution efter kriget.
Även detta är en länge skådad dröm som började med hans farfar på 1950-talet.
Abe anser att han är den man som fullbordar den historiska uppgiften att göra sig av med den hatade "fredsförfattningen".
Liksom många andra till höger här anser Abe att författningen påtvingades Japan av Amerika och är en förödmjukelse.
Det innebär inte bara pacifism, utan också västerländska föreställningar om mänskliga rättigheter och medborgerliga friheter. Den förkastar Japans unika ställning till förmån för "universella värderingar".
Abe skulle vilja ändra på mycket av detta. Men det kommer att bli mycket svårt. Och så kommer han att behöva hjälp.
– Abe har provocerat Kina och Kina har reagerat precis som Abe ville, säger Prof Kingston. "Det finns en klok politisk analys här."
Vad han menar är att ett externt hot i form av ett stort och skrämmande Kina kan vara precis vad Abe vill bidra till att driva igenom sin kontroversiella nationalistiska agenda hemma.
Vad Shinzo Abe än säger, är varje besök i Yasakuni helgedomen av en japansk premiärminister djupt politiskt och säkert att orsaka brott.