Det saudiska utrikesdepartementet sade att FN måste reformeras först.
Det sade att säkerhetsrådet hade misslyckats med sina skyldigheter gentemot Syrien såväl som i andra världskonflikter.
Saudiarabien har tidigare uttryckt frustration över vad man ser som ett internationellt misslyckande att agera mot Syrien, där det ståndaktigt stöder rebellerna.
FN har inte reagerat officiellt, men diplomater där uttryckte sin förvåning över Riyadhs tillkännagivande.
Rysslands utrikesministerium kallade flytten förbryllande, och sa att Saudiarabiens kritik av FN:s säkerhetsråd om dess handlingar över Syrien "är särskilt märklig".
Från Bridget KendallDiplomatic korrespondent, BBC News
Vanligtvis råder det hård konkurrens om att säkra en av de tio roterande platserna i FN:s säkerhetsråd - en chans att sitta sida vid sida med de fem permanenta medlemmarna i två år på FN:s högsta organ som reglerar internationella säkerhetsfrågor.
Istället har Saudiarabien använt den eftertraktade positionen för att framföra en mycket offentlig protest.
Detta är den andra protesten från Saudiarabien. Tidigare denna månad drog sig den saudiske utrikesministern ut från att hålla ett tal vid FN:s generalförsamling och uttryckte liknande frustration.
Det är en dramatisk gest, men om den gör en omedelbar reform av säkerhetsrådet mer sannolik, vilket saudierna kräver, är förmodligen tveksamt.
Tillkännagivandet kom timmar efter att Saudiarabien för första gången valdes till en av de tio roterande platserna i säkerhetsrådet.
De icke-permanenta ledamöterna sitter i rådet i två år, tillsammans med de fem permanenta ledamöterna - USA, Storbritannien, Frankrike, Kina och Ryssland.
"Arbetesmekanismer och dubbelmoral på säkerhetsrådet hindrar den från att utföra sina uppgifter och ta sitt ansvar för att upprätthålla världsfred", sa den saudiska utrikesministeriet i ett uttalande.
"Därför Saudiarabien... har inget annat alternativ än att avvisa säkerhetsrådets medlemskap tills det reformeras och ges möjlighet att fullgöra sina skyldigheter och ta sitt ansvar för att bevara världens fred och säkerhet", tillade den.
Misslyckandet "att finna en lösning på den palestinska saken i 65 år" hade lett till "många krig som har hotat världsfreden", sade utrikesdepartementet.
Det kritiserade också FN:s "misslyckande" att befria Mellanöstern från massförstörelsevapen, inklusive kärnvapen.
Och den anklagade FN för att tillåta den syriska regeringen att "döda sitt eget folk med kemiska vapen... utan att konfrontera det eller införa några avskräckande sanktioner".
FN:s säkerhetsråd bröt förra månaden slutligen ett två och ett halvt års dödläge om hur man ska hantera konflikter i Syrien efter att enhälligt ha röstat för att anta en bindande resolution om att befria landet från kemiska vapen.
Saudiarabiska observatörer säger att Riyadh skulle ha arbetat i åratal för att få en plats i FN:s säkerhetsråd, så ett sådant beslut måste ha fattats på toppen av rikets ledarskap.
En diplomat från säkerhetsrådet, citerad av AFP, sade att tillkännagivandet var "helt oväntat" och utan prejudikat.
En annan sade: " Valet var inte kontroversiellt. Men regeringen har under de senaste veckorna klargjort att den är bekymrad över Syrien och Palestinafrågan."
Saudiarabien har tackat nej till ett icke-permanent säte i FN:s säkerhetsråd och anklagat världen för "dubbelmoral".