Den nordirländska anfallaren åkte hem på timmarkeringen när Ian Cathros sida kämpade vid Borough Briggs.
Dunfermline, efter att ha spelat ett spel mer, topp Grupp B efter en 9-8 straff straff shootout seger över East Fife efter en mållös dragning.
Skottlossningssegern innebar att Pars plockade upp två poäng med East Fife som tog en.
Efter 17 straff utan en miss, Ben Gordon var otur mannen att misslyckas med sin spot-kick.
Hjärtans huvudtränare Cathro var glad över att se sommaren underteckna Lafferty öppna sitt konto för klubben.
"Vi trodde att det skulle vara svårt, det är inte en lätt plats att komma och spela," sade han BBC Skottland. "De försvarade väl och vi var tvungna att ha tålamod.
"Jag är glad att vi höll oss lugna och att Kyle (Lafferty) fick ett mål. Det var en bra avslutning."
I grupp A höll Inverness Caledonian Thistle på toppplatsen trots att den behövde en straffar efter en 0-0-0 dra bort till Stirling Albion.
Liam Polworth och Iain Vigurs var de enda som gjorde mål i shootouten för att ge John Robertsons män en 2-0 seger på straff och bonuspoäng.
I derbyt mellan Brechin City och Forfar Athletic, Mark Millar tog spelet till spot-kicks med en sen straff efter Isaac Layne hade gett Brechin en andra hälften bly.
Brechin flyttade till tredje plats, en punkt bakom Falkirk, efter Kalvin Orsi vinnande straff tjänade bonuspoäng.
Inverness Caley Thistle manager John Robertson skyllde en brist på en mördarinstinkt för sin sida misslyckas med att tjäna alla tre poäng.
"När det gäller bollen, dominerade vi det mesta av matchen", sade Robertson. "Vi visste att Stirling skulle vara på det och de var, all ära till Dave Mackay och hans team.
"Vi saknade tro på den första halvan, hade stora chanser att göra mål och inte ta dem. Andra halvan sa vi upp tempot och komma åt dem, vilket vi gjorde. Men vi hittade inte den där mördarinstinkten.
"Ju mer det gick, desto mer frustrerande var det. Jag trodde att vi skulle vara här till midnatt med straffen. Två poäng av åtta, det är otroligt. Två av våra killar missade målet och för professionella spelare är det dålig teknik."
Kyle Lafferty gjorde på sin debut för att ge Hearts en 1-0 seger över League Two Elgin City i League Cup.