Affärsvärlden och de politiska kretsarna i Schweiz hade stött planen, som var utformad för att förhindra att skatterna stiger kraftigt för utländska investerare.
Men 59 % av väljarna motsatte sig planen i söndagens folkomröstningsomröstning.
Regeringen måste nu hitta ett alternativ som kan innebära högre skattesatser för multinationella företag.
"Det kommer inte att vara möjligt att hitta en lösning över en natt", säger Ueli Maurer, Schweiz finansminister. Han berättade för en presskonferens att det kan ta ett år att komma på en ny plan, och att Schweiz riskerade att förlora utländska investeringar som ett resultat.
För närvarande ger Schweiz särskild status till utländska företag som tillåter kantoner, eller distrikt, att erbjuda dem lägre skattesatser än inhemska företag, vilket gör Schweiz till en attraktiv destination för utländska investerare.
Men internationella organisationer som OECD har ansett systemet oacceptabelt och Schweiz har åtagit sig att reformera det senast 2019.
För att undvika att höja skatterna för multinationella företag alltför kraftigt hade regeringen gått med på att avskaffa den särskilda statusen för multinationella företag, men i stället erbjuda nya skattelättnader för forskning och utveckling och annan verksamhet.
Som en del av förslaget planerade Schweiz kantoner att sänka sina skattesatser för företag över hela linjen, inklusive inhemska företag, vilket bidrog till att undvika kraftiga ökningar av skatteskulderna när utländska företags ställning bringades i överensstämmelse med reglerna.
En del av det resulterande budgetunderskottet i kantonerna skulle ha täppts till av federala medel.
Men planen motsattes av socialdemokrater, gröna, fackföreningar och kyrkor som hävdade att de minskade skatteintäkterna fortfarande skulle leda till nedskärningar av offentliga tjänster eller högre personliga skatter.
"De konservativa partierna ville driva igenom skattereformer med arrogans och högmod mot folkets intressen. De gröna kräver ett nytt förslag med en känsla av proportioner", sade oppositionspartiet vänsterpartiet om omröstningen.
Schweiziska väljare har avvisat en plan för att reformera landets bolagsskattesystem och skickat tillbaka regeringen till ritbordet.