Advokaten och Master of Clare College Cambridge kommer att förbli en partimedlem men kommer att sitta som en crossbencher.
Han sa till Times Jeremy Corbyns förslag var "fruktansvärt skadliga".
Det kommer fem dagar efter att f.d. junior hälsominister Lord Warner avgick labour piska, säger partiet inte hade ett "hopp i helvetet" att vinna makt under sin nya ledare.
Lord Grabiner sa att Labour nu befann sig i "oordning" och att han inte kunde "hålla fast vid mitt samvete".
Han tillade: "Jag har ingenting gemensamt med Mr Corbyn och jag tror inte att vi någonsin kommer att vinna ett val."
Han sade också att han var särskilt bekymrad över John McDonnells utnämning som skuggkansler.
"Jag är bekymrad över de ekonomiska sakerna. Jag är verkligen bekymrad över skuggkanslern, förklarade han.
F.d. minister för arbetsmarknadsfrågor Lord Mandelson har också kritiserat Corbyn. Han talade om BBC:s vecka i Westminster-programmet och sade att labourledaren inte alls "växer in i jobbet".
Han sade att Corbyn inte visade någon professionalism i sitt ledarskap för Labourpartiet och att han hade gjort dåliga val i sin utnämning av högre tjänstemän i sitt team.
En talesman för Labour sade om kamraten: " Vi välkomnar Tonys fortsatta medlemskap och stöd för partiet.
"Vi vet att han har blivit allt mer upptagen och mindre kapabel att närvara vid Lords för att delta i House business och vi förstår naturligtvis hans beslut att avstå Labour piskan".
Talaren sa också att Lord Grabiner inte hade röstat i Lords sedan 2013.
Lord Grabiner har blivit den andra peer de senaste dagarna att avgå labour piska i Lords.