Mediauppspelning stöds inte på den här enheten
De nekades ett skott mot guldmedaljen efter att ha gjort en olaglig övergång i sin semifinal seger över Ukraina.
Pendleton straffades för att ha tagit över ett halvt cykelhjul för tidigt i början av andra varvet av två-lap race.
Storbritannien har vunnit sju av 10 cykelguldmedaljer vid OS i London 2012.
Mäns individuella sprint: Jason Kenny (Gbr)
Kvinnors individuella sprint: Anna Meares (Aus)
Mäns lag sprint: Storbritannien
Kvinnolagssprint: Tyskland
Mäns keirin: Sir Chris Hoy (Gbr)
Kvinnolagsjakt: Storbritannien
Mäns omnium: Lasse Hansen (Den)
Kvinnors omnium: Laura Trott (Gbr)
"Vi var förmodligen bara lite för ivrig," Pendleton berättade BBC Sport. "Det är en sån sak. "Det var mycket olyckligt; det var ett misstag som gjordes på en bråkdel av en sekund."
Kina slutade sedan före Tyskland i guldmedalj loppet, men var också förvisade för en överträdelse vid övergången, lämnar Tyskland som mästare. Kina lämnades med silver, medan Australien slog Ukraina i bronsmedalj loppet.
Tillkännagivandet att Pendleton och Varnish hade förvisats till åttonde plats hälsades av högljudda buon på den packade London Velodromen.
Dave Brailsford, British Cyclings performance director, argumenterade parets fall med domarna i mitten av banan i mer än 10 minuter innan nyheterna vidarebefordrades till åskådare.
Brittiska cyklister vann guld i sju av 10 evenemang och totalt 12 medaljer på banan i Peking 2008, Pendleton och Varnish var på väg att hålla igång i London.
De bröt världsrekordet i sin hetta, i en tid som snabbt förbättrades av Kina i nästa lopp, och var näst snabbast i semifinalen, återigen bakom bara Kina.
"Det händer så snabbt när du är full fart i ett team sprint. Jess flyttar upp och det är min signal att ta över men det var en meter eller så för tidigt, tyvärr, säger Pendleton.
"Det var på förändringen. Jess fastnade lite i början och det kanske gjorde henne lite nervös och hon kanske försökte gottgöra för den skillnad hon förlorade.
"Hon kanske dömde det raka lite fel och jag bara såg gapet och bara gick för det är min signal.
"Jag är besviken för Jess skull. Hon har gjort ett fantastiskt jobb med att komma så här långt. Hennes team sprint idag var det bästa av hennes liv hittills.
"Det är de olympiska spelen, det är det största. Att spendera fyra år att göra sig redo för det bara för att förlora på en bråkdel av en sekund är att rycka ur."
Mark Cavendish på BBC One
"Jag är ledsen för att göra alla som har kommit för att stödja oss besvikna och kanske inte erbjuda den skjuts som vi skulle ha gjort."
Pendleton, som går i pension efter OS, tävlar i keirin på fredag och kommer att börja försvara sin individuella sprinttitel på söndag, men Varnishs spel är över.
London 2012 är första gången kvinnolaget sprint har arrangerats vid en OS.
Storbritanniens olympiska cykelkampanj fick en katastrofal start när Victoria Pendleton och Jess Varnish diskvalificerades från finalen i damlagets sprint.