Mediauppspelning stöds inte på den här enheten
McIlroy, 27, är en av 20 spelare att ha dragit sig tillbaka från nästa månads spel, med hänvisning till rädsla för zikaviruset.
Han sa att han inte skulle titta på OS-golf på TV.
Efter torsdagens första runda på The Open sa McIlroy: "Jag bestämde mig för att sluta dansa runt frågan och berätta för alla vad jag tyckte."
Mediauppspelning stöds inte på den här enheten
Den fyra gånger större vinnaren tillade: "Jag har tänkt på OS och golf under de senaste sju åren och det är precis så jag känner.
"En del människor gillar det inte, jag förstår det, men det är min åsikt.
"Jag tror inte att någon kan klandra mig för att vara alltför ärlig. Det var sju års försök att ge det politiskt korrekta svaret och till slut knäcktes jag."
På tisdagen sade nordirländaren: "Jag kommer förmodligen att titta på OS, men jag är inte säker på att golf kommer att vara en av de händelser jag kommer att titta på."
McIlroy frågade vilka händelser han skulle titta på och svarade: "Förmodligen spår och fält, simning, dykning, det viktiga."
Mediauppspelning stöds inte på den här enheten
Dessa synpunkter mottogs kritik från den engelske squashspelaren Laura Massaro, vars sport inte ingår i OS.
Hon kallade McIlroy kommentarer "oacceptabel" och sade att han hade visat en "brist på uppskattning för hur de olympiska spelen kan överskrida en individuell sport".
Men McIlroy, som är sex skott utanför ledningen efter den första dagen av Open, har försökt att utveckla mer på sin kommentar att han "inte kom in i golf för att försöka växa spelet".
Ta reda på hur du kommer in i golf med vår speciella guide.
"Jag känner att jag har gjort min del för att växa spelet," tillade världen nummer fyra. "Det är inte som att jag är ointresserad och golf är ett bra fordon för att ingjuta värderingar hos barn.
"Jag är ambassadör för PGA Junior League och jag har använt min framgång inom golf på ett mycket positivt sätt."
Vi har lanserat ett nytt BBC Sport nyhetsbrev, med alla de bästa berättelserna, funktioner och video direkt till din inkorg. Du kan anmäla dig här.
Tidigare värld nummer ett Rory McIlroy har förblivit trotsig mot kritik över hans kontroversiella åsikter om golf vid 2016 Rio Olympics.