Men utskottet sade att åläggandet av ekonomiska sanktioner för dem som inte uppfyllde målen skulle vara kontraproduktivt.
Skottland har åtagit sig att minska utsläppen med minst 80 procent fram till 2050.
Men en färsk rapport bekräftade att landet återigen missade sitt mål för utsläpp 2012.
Det var tredje gången ett årligt mål inte hade uppnåtts.
Det skotska parlamentets utskott för landsbygdsfrågor, klimatförändringar och miljö uttryckte sitt stöd för obligatorisk rapportering när ett regeringsförfarande om klimatförändringar avslutas i slutet av denna månad.
Kommittén fick höra bevis från offentliga organ och fann att "alla betonade hur allvarligt de tar sitt ansvar både för att minska sitt koldioxidavtryck och för att rapportera om sina skyldigheter mot klimatförändringarna".
Det sades att det fanns olika metoder för rapportering mellan lokala råd, frivilligorganisationer, polis och andra räddningstjänster.
Och det sades att förtydligande var nödvändigt innan obligatorisk rapportering infördes.
Kommittén sammankallar Rob Gibson, en SNP MSP, sade: "Den lagstiftning som antagits av det skotska parlamentet förpliktar Skottland att minska utsläppen med minst 80 % fram till 2050 och är världsledande när det gäller ambitioner.
"Men denna ambition måste omsättas i handling. Det är nu dags att aktivera verkliga förändringar i tillvägagångssätt och beteende inom alla undermåliga samhällssektorer, och detta inbegriper den offentliga sektorn.
"Kommittén uppmuntras att höra många exempel på den positiva inverkan frivillig rapportering har haft på faktiskt minskade utsläpp, och genom det enhälliga stödet för obligatorisk klimatrapportering från offentliga myndigheter som gav bevis.
"Vi måste stödja dem som inte levererar så mycket som möjligt för att göra Skottland till världsledande och uppmuntra dem att engagera sig och förbättra sig."
Nettoutsläppen 2012 var 55,67 miljoner ton koldioxidekvivalenter (MtCO2e), jämfört med målet på 53,226.
WWF:s direktör Lang Banks välkomnade utskottets rekommendation och sade: " Om Skottland ska komma på rätt spår igen för att uppfylla sina klimatförändringsmål så spelar alla viktiga roller, och det inkluderar Skottlands offentliga organ.
"Med bättre samordning och stöd från staten kan offentliga organ minska sina klimatföroreningar samtidigt som de sparar pengar genom initiativ för att förbättra energieffektiviteten eller genom att producera egen förnybar energi."
Offentliga organ i Skottland bör tvingas rapportera klimatmål och framsteg, har en Holyrood-kommitté rekommenderat.