A Gaviria se le ha cuestionado su parentesco con el narcotraficante y jefe del entonces Cartel de Medellín, Pablo Escobar y los problemas judiciales por narcotráfico que han tenido dos de sus hermanos, Luis Mario y Jorge Fernando.