Beslutet släpper tysken till tredje plats, bakom lagkamrat Lewis Hamilton och Red Bulls Max Verstappen och skär hans poäng bly över Hamilton till en.
Mercedes befanns ha gått längre än vad som var tillåtet för att hjälpa en förare att lösa ett tekniskt problem.
De bröt mot en regel som sa: "Föraren måste köra bilen ensam och utan hjälp."
Mercedes har lämnat in en avsikt att överklaga beslutet.
Formel 1-reglerna ändrades i år för att införa restriktioner för hur mycket lag som kan hjälpa förare medan de är ute på rätt spår.
Lag får ingripa om bilen har ett "kritiskt problem om ett fel i en komponent eller ett system är nära förestående och potentiellt terminal".
Race förvaltare hittade Mercedes fick ge Rosberg instruktioner om de inställningar han behövde för att lösa problemet.
Men de borde inte ha svarat på hans efterföljande fråga om han sedan skulle byta växel så bilen gick rakt igenom sjunde växeln.
Rosbergs ingenjör Tony Ross svarade på tyskens information att han hade en växellåda problem med orden: "Förare standard 1-0-1, chassi standard 0-1, chassi standard 0-1. Undvik sjunde växeln, Nico, undvik sjunde växeln."
Rosberg frågade sedan: "Vad innebär det att jag måste gå igenom det?
Ingenjör: "Bekräfta Nico, du måste gå igenom det. Affirma, du måste gå igenom det."
Både Mercedes F1 team chef Toto Wolff och hans motsatta nummer på Red Bull, Christian Horner, ifrågasatte behovet av regler som begränsar förarassistans.
Horner sade: " Regeln är värdelös. Det låter inte så vettigt. Men reglerna är reglerna.
– Bilarna är tekniskt mycket komplexa och du kan förstå varför Mercedes skulle vilja ge det budskapet för att hålla föraren igång.
"Det är en lagsport och bilarna är mycket mer komplicerade än de var för fyra år sedan för förarna att räkna ut vad de borde och inte borde göra.
"Frågan framöver är om dessa regler är rätt för F1? Det är en annan fråga."
Wolff, som talade innan beslutet att straffa Mercedes, drog paralleller mellan denna situation och en i förra helgens österrikiska Grand Prix, när Force India inte berättade för deras förare Sergio Perez att han hade ett kritiskt bromsproblem och mexikanen kraschade i sista varvet.
Wolff sade: "Vi ser att dessa regler kanske behöver en om-tänk mellan FIA och teamen för att kanske gå mer in i detalj på vad som är tillåtet eller inte eftersom inte kommunicera alls, du kan lika gärna koppla ur radion och kasta ut den ur bilen. Det är en del av körningen sedan länge."
Regeln är dock ett djurprojekt av FIA:s president Jean Todt och han har hittills varit döv för frågor om dess lämplighet.
Prenumerera på BBC Sport nyhetsbrev för att få vårt tips på nyheter, funktioner och video skickas till din inkorg.
Nico Rosberg och Mercedes har straffats 10 sekunder för att ha brutit mot reglerna för radioöverföring under British Grand Prix.