Fyra andra rådsmedlemmar avstod från att rösta, medan resten röstade för.
Dödandet av omkring 8.000 muslimska män och pojkar 1995 av bosniska serbtrupper var den värsta massakern i Europa sedan andra världskriget.
Förslaget hade förargat Serbien, som förkastar termen.
Det hade utarbetats för att markera 20-årsdagen av illdådet, som kom mitt i den blodiga upplösningen av Jugoslavien i självständiga stater.
Under det bosniska kriget, som såg Serbien-stödda bosniska serbiska styrkor slåss mot den muslimska-ledda bosniska regeringen, tusentals söker skydd vid vad som var tänkt att vara en FN-fristad slaktades.
I resolutionen sades att "acceptans av de tragiska händelserna i Srebrenica som folkmord är en förutsättning för försoning".
Men Rysslands FN-ambassadör Vitaly Churkin sade att anta det "skulle vara kontraproduktivt, skulle leda till större spänningar i regionen".
Omröstningen hade skjutits upp en dag för att låta USA och Förenade kungariket - som utarbetade resolutionen - försöka övertala Ryssland att inte lägga in sitt veto.
Den serbiska presidenten, Tomislav Nikolic, kallade det en "stor dag" för sitt land, rapporterade AFP-byrån.
Serbien har ingen plats i säkerhetsrådet och hade bett allierat Ryssland att blockera resolutionen och varnade för att den skulle vara splittrande.
Den amerikanske ambassadören i FN, Samantha Power, sade: "Rysslands veto är hjärtskärande för dessa familjer och det är ytterligare en fläck i rådets rekord."
En FN-domstol i Haag har redan dömt många människor för folkmord i samband med morden i Srebrenica, men ett formellt erkännande av FN skulle kunna tvinga enskilda stater att väcka åtal.
Ryssland har lagt in veto mot en resolution från FN:s säkerhetsråd som skulle ha beskrivit massakern i Srebrenica som "genocid".