Mediauppspelning stöds inte på den här enheten
Efter mycket överläggning valde McIlroy förra månaden ut från spelen och sade att han var orolig för zikaviruset.
När McIlroy talade inför den här veckans Open, sade han att han var "mycket bekväm" med sitt beslut att dra sig ur OS, tillägger han kanske inte bry sig om att titta på Rio golf action på TV.
"Jag är mycket nöjd med det beslut jag har tagit, jag har ingen ånger," sade McIlroy.
"Jag kommer förmodligen att titta på OS, men jag är inte säker på att golf kommer att vara en av de händelser jag kommer att titta på."
McIlroy frågade vilka händelser han skulle titta på och svarade: "Förmodligen de händelser som... track and field, simning, dykning, de saker som betyder något."
McIlroy avvisade förslag om att beslutet av flera toppspelare att dra sig ur OS var att "släppa ner spelet".
Sporten går tillbaka till OS-tävlingen efter 112 års frånvaro.
"Jag känner inte att jag har svikit spelet alls. Jag kom inte in i golf för att försöka växa spelet, jag försökte komma in i golf för att vinna mästerskap, "han berättade för en pre-Open Championship nyhetskonferens på Royal Troon.
"Helt plötsligt kommer du till denna punkt och det finns ett ansvar på dig att odla spelet, och jag förstår det.
"Men samtidigt är det inte anledningen till att jag började med golf. Jag började med golf för att vinna. Jag gick inte in i golf för att få in andra i spelet."
Även i sin nyhetskonferens, McIlroy sade att golf måste förbättras är drogtestning politik eftersom det är "någon väg bakom de andra sporterna".
World Anti Doping Agencys (Wada) senaste rapport från 2014, avslöjade 507 tester utfördes på golfare med åtta tester positiva.
"I genomsnitt testas vi fyra eller fem gånger om året. Det är mycket lite jämfört med andra olympiska sporter, "sade McIlroy.
Nordirlands värld nummer fyra tillade: " Jag har testats en gång för droger i år, dagen före US Open. Det var bara ett urinprov, inte ett blodprov.
"Men jag tror inte att det finns droger som kan göra dig bättre över hela linjen.
"Det finns droger som kan göra dig starkare och få dig att koncentrera dig mer men inte som kan göra dig en bättre allround golfare, så vitt jag vet.
"Jag kunde ta HGH (Human Growth Hormone) och komma undan med det."
Rory McIlroy har föreslagit att golf inte kommer att vara en av de sporter som "materia" vid nästa månads Rio OS.