Failler entstammte einfachen Verhältnissen: sein Vater war Zimmermann und seine Mutter Wäscherin und seine beiden Großväter waren Fischer. Mit siebzehn Jahren erreichte er 1957 seinen Schulabschluss und versuchte als Briefträger wie auch als Versicherungsvertreter auf eigenen Füßen zu stehen. Seinen Militärdienst leistete Failler als Marineinfanterist in Algerien ab und konnte erst 1962 nach Kriegsende nach Frankreich zurückkehren.