Sin embargo en 1983, tras diversas publicaciones del diario "El Espectador" y con la acusación directa del ministro de justicia Rodrigo Lara Bonilla, pierde su escaño y es acusado públicamente por sus negocios ilegales.