Fred Stobaugh, vars fru Lorraine dog i april, har ingen tidigare musikalisk erfarenhet och skrev låten på ett nyck för en tävling.
Han lämnade in sina handskrivna texter per post och även om tävlingen bara var online så var organisatörerna så rörda att de satte orden till musik.
Oh Sweet Lorraine är nummer sju på US iTunes och har 1,9m YouTube-vyer.
Billboard tidningen sade att låten hade sålt 6.000 exemplar hittills, placera den på nummer 49 i sin rock digitala låtar försäljningsdiagram.
Banan finns också i iTunes-kartorna för Österrike, Schweiz, Tyskland, Sverige, Norge och Luxemburg.
"Åh söta Lorraine," kören börjar, "Jag önskar att vi kunde göra om alla goda tider igen."
Stobaugh framför inte låten själv - på sin ursprungliga underkastelse skrev han: "Jag sjunger inte, jag skulle skrämma folk, haha!"
Vokaler tillhandahålls istället av Jacob Colgan, vars Green Shoe Studio organiserade den ursprungliga tävlingen.
En dokumentär om inspelningen av låten, uppladdad till YouTube i juli, förklarar hur inspelningen kom till.
"Det som gjorde Freds inträde så speciellt för oss var, en, det är en online tävling. Det är meningen att folk ska ladda upp sina videor, säger Colgan i klippet.
"Men i stället för en video fick vi ett mycket stort manilakuvert. Det var spännande att se vad det var. Se, det var ett brev från en 96-årig man som sade: "Jag har skrivit en sång för min hustru."
"Han låter som en rar kille", fortsätter han, "men när jag läser igenom brevet, börjar jag inse att hans fru just hade gått bort en månad tidigare."
Stobaugh säger att låten, hans första, kom till honom från ingenstans.
"Efter att hon gick bort, Jag satt bara i det främre rummet en kväll själv" "det bara kom till mig. Jag nynnade hela tiden."
Den färdiga inspelningen är en enkel, lantlig vaggvisa. Dokumentären visar Stobaugh överväldigad av känslor när han hör det för första gången, täcker sitt ansikte med handen när han säger till Colgan: "Det är underbart, det är underbart".
"Hon var den vackraste flicka jag någonsin sett", säger han om att träffa Lorraine 1938. "Väldigt blygt. Jag blev kär i henne där."
"Jag saknar henne verkligen."
En 96-åring som skrev en låt för sin sena fru har gjort den amerikanska iTunes topp 10, tillsammans med Katy Perry och Lady Gaga.