Andy Geggan ledde League One-sidan framför när han träffade Declan McDaids hörnspark strax före halvtid.
Robbie Crawfords bländande sololopp tog nästan en fantastisk sekund, bara för att hans skott skulle räddas.
Premiär Kilmarnock såg mycket av bollen men sällan oroliga Ayr målvakt Jordan Hart.
Lee McCullochs sida har inte smakat seger i Somerset Park sedan januari 1993, en körning som nu sträcker sig till fem matcher.
Värdarna, uppbackade i stort antal i en folkmassa av 6,417, såg skarpare av de två sidorna i den första halvan.
Ayr kapten Ross Dochertys avböjda skott ställde en tidig fråga om målvakt Jamie MacDonald.
MacDonald var tvungen att rädda igen från Jamie Adams header innan Craig Moore slog revanschen i sidonätet.
Kilmarnock hade en stark vädjan om en straffspark när Kirk Broadfoot verkade dras ner i lådan av Adams, men domaren John Beaton istället tilldelade hemmasidan fri-kick.
Det kanske var säsongens första tävlingsmatch, men takten var obeveklig.
Kilmarnocks Alan Power tävlade in på baksidan för att möta en hörnspark, men sprängdes över.
I den andra änden pressade Adams ett skott mellan försvarare, men MacDonald fick ner lågt för att handflata bort.
Ett mål var att komma och efter McDaid fri-kick drevs bred, Geggan tävlade från djupt till huvudet i det resulterande hörnet.
Spelet blev rörigt i andra halvan när tempot sjönk, men Paddy Boyle nästan smygit ett skott i nära inlägget från avstånd.
Ayr knuffades längre in i sin egen hälft, och Jordan Jones hade ett skott i närområdet blockerat, men det var League One-sidan som fortsatte att skapa de bättre chanserna.
Moore fick huvudet till en frikick men kunde bara rikta det rakt mot MacDonald.
Då en lysande slalomering laddning från Crawford kunde ha löst matchen när han hoppade över fyra spelare, men såg hans skott blockeras av benen på Killie målvakt.
Trots de nära missar, Ian McCall män bekvämt såg spelet ute med Kilmarnock kämpar för att hitta energi eller noggrannhet för att rycka en sen equalizer.
Ayr United manager Ian McCall: "Jag trodde att alla de bästa chanserna i spelet föll för oss. De presterade riktigt bra, slet sina strumpor av, och det är en för fans och regissörer.
"Michael Rose kommer förmodligen att vara ute i fyra veckor nu, han tog ett helvete av ett fat på sin fotled. Våra två mest begåvade spelare spelade inte Alan Forrest och Craig McGuffie.
"Spelarna arbetade sina strumpor av och i derbies du måste.
"Jag vet att Ross Docherty fick en man av matchen men Jamie Adams var bara en koloss. Han har förmodligen tränat tre gånger och spelat en halv match mellan att arbeta på sin gård. "
Kilmarnock manager Lee McCulloch: "Vi är bittert besvikna över att förlora mot våra största rivaler. Vi tar inte lätt på resultatet.
"Vad som kostade oss spelet var vår första hälften visning och stänga av i hörn. Det duger inte.
"Det var för mycket klumpa bollen istället för att få bollen ner och spela i små fickor, vilket vi har uppmuntrat spelarna att göra.
"Vi förtjänade inte att vinna det spelet. Kanske en poäng skulle ha varit rättvist men vår sista boll saknades."
Matchen slutar, Ayr United 1, Kilmarnock 0.
Andra halvlek, Ayr United 1, Kilmarnock 0.
Försöket räddades. Declan McDaid (Ayr United) höger fotade skott från utsidan rutan sparas i det övre vänstra hörnet.
Foul av Calum Waters (Kilmarnock).
Craig Moore (Ayr United) vinner en frispark på högerkanten.
Kris Boyd (Kilmarnock) vinner en frispark i anfallshalvan.
Foul av Chris Higgins (Ayr United).
Hörnet, Ayr United. Förföljd av Stephen O'Donnell.
Ersättning, Kilmarnock. William Graham ersätter Rory McKenzie.
Rory McKenzie (Kilmarnock) vinner en frispark i anfallshalvan.
Foul av Michael Moffat (Ayr United).
Stephen O'Donnell (Kilmarnock) vinner en frispark i anfallshalvan.
Foul av Craig Moore (Ayr United).
Hörnet, Kilmarnock. Förföljd av Jordan Hart.
Försöket räddades. Jordan Jones (Kilmarnock) höger fotade skott från en svår vinkel till vänster sparas i mitten av målet.
Försök missade. Dom Thomas (Kilmarnock) höger fotade skott från utsidan lådan är hög och bred till vänster.
Försöket räddades. Chris Higgins (Ayr United) huvud från mitten av rutan sparas i mitten av målet.
Hörnet, Ayr United. Förföljd av Jamie MacDonald.
Försöket räddades. Robbie Crawford (Ayr United) höger fotade skott från höger sida av sex yard box sparas i nedre högra hörnet.
Hörnet, Kilmarnock. Förföljd av Jamie Adams.
Försöket räddades. Jordan Jones (Kilmarnock) höger fotade skott från en svår vinkel till vänster sparas i toppen av målet.
Hörnet, Kilmarnock. Förföljd av Jamie Adams.
Försök blockerat. Dom Thomas (Kilmarnock) höger fotade skott från mitten av lådan är blockerad.
Försök blockerat. Rory McKenzie (Kilmarnock) höger fotade skott utanför lådan är blockerad.
Försöket räddades. Craig Moore (Ayr United) huvud från mitten av lådan sparas i toppen av målet.
Foul av Rory McKenzie (Kilmarnock).
Declan McDaid (Ayr United) vinner en frispark i anfallshalvan.
Ersättning, Kilmarnock. Alex Samizadeh ersätter Alan Power.
Hörnet, Kilmarnock. Förföljd av Andrew Geggan.
Foul av Rory McKenzie (Kilmarnock).
Ross Docherty (Ayr United) vinner en frispark i anfallshalvan.
Adam Frizzell (Kilmarnock) vinner en frispark i den defensiva halvan.
Foul av Robbie Crawford (Ayr United).
Foul av Dom Thomas (Kilmarnock).
Brian Gilmour (Ayr United) vinner en frispark på högerkanten.
Försök missade. Kirk Broadfoot (Kilmarnock) huvudet från mitten av lådan missar till höger.
Dom Thomas (Kilmarnock) vinner en frispark i den defensiva halvan.
Stöld av Patrick Boyle (Ayr United).
Försöket räddades. Patrick Boyle (Ayr United) vänster fotade skott från utsidan rutan sparas i nedre vänstra hörnet.
Substitution, Ayr United. Brian Gilmour ersätter Michael Rose på grund av en skada.
Ayr United fortsatte sitt 24-åriga oslagbara hemrekord mot rivaler Kilmarnock med en 1-0 seger i deras League Cup Group E öppnare.