16-åringen gick till Michael Harringtons Grangetown hem i Cardiff, efter att ha misstänkt honom för sexuellt våld mot en skolflicka, och med dödlig utgång knivhögg han 67-åringen.
Han dömdes för dråp efter att ha blivit friad från mord i Cardiffs krondomstol.
Justitieminister Nicola Davies sa att fallet var en "raseri".
Det fanns aldrig något formellt klagomål mot Harrington, som domstolen hörde.
Domaren dömde pojken på fredag och sade till honom: " Detta var en tragedi för dig och en tragedi för din familj och är något som du kommer att leva med resten av ditt liv.
"Du är av positiv god karaktär och du trodde verkligen att den här mannen hade sexuellt utnyttjat (skolflickan).
"Men du tog lagen i dina egna händer och ingen har befogenhet att göra det.
Brottet är så allvarligt att endast ett fängelsestraff är berättigat.
Tonåringen, som inte kan namnges, gick till mr Harringtons hem den 3 augusti och knivhögg honom i nacken och örat med en köttkniv.
Mr Harrington dog fyra dagar senare.
Pojken påstod att han aldrig menade att döda mannen, men högg honom under en kamp med kniven.
Trots hans förnekande, befanns han skyldig till dråp av en majoritetsdom av 11-1 av juryn.
En skolpojke som dödade en pensionär för att ha missbrukat en flicka har dömts till tre års fängelse.