Han valdes ut för att slåss mot South Basildon och East Thurrock sits efter ex-Tory MP Neil Hamilton drog ut.
I en inspelning gjord av Mail På söndagen gjorde Smith stötande kommentarer om homosexuella, andra UKIP-medlemmar och Chigwell i Essex.
Han utfärdade senare en "helhjärtad och oreserverad ursäkt".
UKIP-ledaren Nigel Farage berättade för BBC News att Smith hade avgått "med ömsesidigt samtycke" och beskrev sitt beteende som "långt och helt olämpligt".
Han sade att UKIP hade "stora svårigheter" med valet av Basildon och tillade: " Partiet har fått grepp om detta och reda ut det, i kort ordning".
Farage sade också att UKIP:s nationella verkställande utskott hade befogenhet att införa en kandidat om det ville.
UKIP hoppas kunna göra en allvarlig utmaning för South Basildon och East Thurrock-sätet i det kommande allmänna valet, där man försöker vinna en handfull platser och potentiellt hålla maktbalansen.
Men Smiths avgång, fyra dagar efter att han återantogs som kandidat, begränsades en vecka av negativa rubriker för partiet.
Hamilton drog sig ur tvistefrågan inför de frågor partiet ställde om sina utgifter, medan en annan kandidat, Natasha Bolter, drog sig tillbaka mitt i en utredning av anklagelserna hon gjorde mot Bird, vars uppgift är att granska valkandidater.
Efter sin avgång på söndagen sade Smith i ett uttalande: " Jag vill det bästa för South Basildon och Thurrock, och jag vill se de verkliga frågor som diskuteras och som berör människors liv.
"Därför har jag valt att avgå så att UKIP kan vinna denna plats nästa maj."
En parlamentskandidat avgår efter att ha försökt skylla sina rasistiska kommentarer på att ha tagit smärtstillande medel.
Detta kommer dagar efter en påstådd sexskandal vid UKIP:s huvudkontor där partiets chefsdirektör låg - eller inte - med en annan kandidat.
Under tiden sägs en rik donator hota att sluta finansiera partiet om hans vän inte får en plats. Du kanske tycker att UKIP:s vecka med dåliga rubriker bara är en avledande såpopera.
Du kanske tror att det helt enkelt visar den växande smärtan hos Storbritanniens snabbast växande politiska kraft. Du kanske tror att det inte har någon betydelse alls. I så fall skulle du ha fel.
Läs hela Nicks blogg
Under det inspelade samtalet talar Smith om UKIP:s grupp för lesbiska, homosexuella, bisexuella och transpersoner (LGBT). Han kan höras skämtsamt hänvisa till det som BLT UKIP, och tillägger "vad de gamla poofter grupperna kallar sig själva".
Han skämtar om att "skjuta bönder" från Essexstaden Chigwell och stödja "en bondejakt genom byn Chigwell".
En talesman för UKIP bekräftade för BBC att Smith hade bett Farage om ursäkt för anklagelser mot honom under telefonsamtalet - som Smith sedan dess har dragit tillbaka.
UKIP:s parlamentsledamot Steven Woolfe, partiets talesman för invandringen, sade att "rasistiskt och homofobiskt språk" inte skulle tolereras.
"När det finns någon som har kommit ut och uttryckt denna typ av åsikter, som jag avskyr och ogillar intensivt, har vi agerat snabbt och vi har fått ut dem", berättade han för Radio 4's Today program.
Han menade att UKIP:s kandidater var "vanliga människor" som inte hade den medieutbildning som deras politiska rivaler hade och ibland måste vara "vägledda".
Men han insisterade på hur partiet hanterade problem när de uppstod visade hur det hade mognat.
"Vad vi har sett under de senaste tio dagarna är att UKIP har vuxit upp ganska dramatiskt", tillade han.
Smith stod för UKIP i Basildon-sätet 2010, där han kom fyraa bakom de konservativa, Labour och Lib Dems.
Men nu betraktar partiet sätet som en plats som det möjligen skulle kunna vinna och urvalsprocessen kommer nu sannolikt att öppnas på nytt.
Efter att Hamilton drog tillbaka sin kandidatur till Basildons säte tidigare i veckan rapporterade Channel 4 att han hade fått ett brev från UKIP:s finansutskott med frågor om hans utgifter.
Hamilton, UKIP:s vice ordförande, sade att hans beslut att dra sig ur urvalsprocessen för Basildon inte hade något att göra med utgifter, utan att det var ett "smutsigt trick" från UKIP att sy ihop honom.
Kerry Smith har avgått som en blivande kandidat till UKIP-parlamentet efter att ha bett om ursäkt för kränkande kommentarer han gjorde i ett telefonsamtal.