Marvin stieg in den 1920er Jahren zu einem der gefeiertesten Ukulele-Spielern und Crooner auf und wurde während dieser Zeit insbesondere unter seinen Künstlernamen „Honey Duke and His Uke“ sowie „Johnny Marvin, the Ukulele Ace“ bekannt. Er veröffentlichte zahlreiche Schallplatten mit Liedern wie "Oh How She Could Play the Ukulele; Red Lips, Kiss My Blues Away; If You See Sally; There’s Something Nice about Everyone (But There’s Everything Nice about You); Tiptoe Through the Tulips" sowie zahlreichen anderen Songs. Aufgrund seines Bekanntheitsgrades gab ein Hersteller sogar eine nach ihm benannte Ukulele-Marke heraus, die sein Gesicht zeigte und eine einzigartige Form aufwies. Mit dem Ende des Ukulele-Booms Ende der 1920er Jahre zog er sich zunächst aus dem Musikgeschäft zurück, kehrte jedoch zurück, nachdem er sein Vermögen im Rahmen des Schwarzen Donnerstages vom 24. Oktober 1929 und der darauf folgenden Great Depression verloren hatte. In der Folgezeit trat er als Partner von Gene Autry auf, der in dieser Zeit seine langjährige Karriere als Country-Sänger begann.