Zijn grootste vriendschappelijke rivaliteit was met trompettist Al Hirt, wiens club zich in de straat van Fountain bevond. Ze stalen muzikanten van elkaar en kwamen soms in elkaars clubs en speelden samen. Het waren goede vrienden die samen kwamen en later samen verschillende albums opnamen. In 2003 sloot Fountain zijn club in het Hilton met een optreden voor een vol huis vol muzikale vrienden en fans. Hij begon twee avonden per week op te treden in Casino Magic in Bay St. Louis, Mississippi, waar hij ook een huis had (later verwoest door de orkaan Katrina). Na een hartoperatie in 2006 trad hij op bij het New Orleans Jazz and Heritage Festival en hielp hij bij de heropening van het Bay St. Louis casino. Het is sindsdien omgedoopt tot het Hollywood Casino. Hij speelde zijn laatste show in Hollywood Casino op 8 december 2010, voordat hij terugkeerde om te helpen bij de heropening van het resort in 2014, op welk moment hij grotendeels met pensioen was.