Nacido en Long Island, Nueva York, Barbour se inició como músico de banjo junto a Adrian Rollini en 1933 y con Wingy Manone en 1934.