Englands manager Sam Allardyce har stött idén om ett brittiskt lag vid framtida olympiska spel, men Football Association of Wales fruktar att det kan skada Wales position som en oberoende fotbollsnation.
Team GB gick in i mäns och kvinnors sidor i London 2012, men inte i Rio 2016.
"För oss, nej. Jag håller inte med om det", sade Coleman.
"Allt som kan sätta vad vi har här, vad vi har byggt här, i fara, skulle vi inte vara för det.
"Vi har alltid haft en inställning som vi inte håller med om, och det har inte förändrats.
"Varför ska vi säga gå vidare, ta [våra spelare] - och vi vet att de bara kommer att ta två eller tre av våra.
"Det bör kallas Englands olympiska lag verkligen eftersom det är vad det kommer att bli. Men de kommer att plocka körsbär [Gareth] Bale eller Rambo [Aaron Ramsey] kanske - varför ska vi ge upp dem, säga vattna ner dem, ta ut det bästa av dem och sedan kasta dem tillbaka till oss när du är klar med dem?
"Jag tycker inte det är rättvist alls. Jag tycker att de har tillräckligt med fotboll."
Efter att ha deltagit i London 2012 kunde de fyra nationella fotbollsföreningarna inte enas om att skicka ett brittiskt kvinnolag till Rio Games.
En plats förtjänades av England kvinnors sida efterbehandling tredje i 2015 års VM.
Englands fotbollsförbund hade lagt fram idén om att skicka brittiska lag till OS, men Fifa sade att det skulle behöva godkännande från de styrande organen i Skottland, Wales och Nordirland, som var emot det.
Dessa tre hemnationer fruktar ett sådant drag kan påverka deras oberoende ställning inom idrottens styrande krets, Fifa, och vid internationella turneringar såsom VM.
"En sak vi har runt omkring oss i minuten - och du kan lukta det på oss - är de spelare vi har, det finns en identitet där," sade Coleman.
"De sätter på sig tröjan och bär den med stolthet. Det är allt vår nation någonsin velat ha.
"Självklart vill de ha framgång, de vill se ett team på planen att när de går på planen de tömma den för tröjan, för brickan, för äran. Det är vad vi har, så vi behöver inte bråka om det."
Coleman tillade att konkurrensen vid OS skulle lägga till spelarnas redan upptagna schema.
"Våra pojkar har en hel del fotboll, vad de inte behöver är en annan [turné]", sade han.
"Det är inte bara fotbollen... det är att vara i lägret, vara borta varje dag, det är mer press, det finns mer förberedelser.
"Det är det sista någon av våra bästa spelare behöver och jag talar om England spelarna också."
Wales boss Chris Coleman har avfärdat idén att Wales är en del av en Team GB fotbollssida vid OS 2020.