Fary grandit à Saint-Maur-des-Fossés en banlieue parisienne, avec ses deux frères et sa sœur. Il est le fils d’un technicien du froid et d’une auxiliaire de puériculture originaires du Cap-Vert