Los siguientes años dirigió clubes de la Segunda División del Perú, obteniendo con todos el ascenso a Primera División: Unión Huaral en 1994, Guardia Republicana en 1995 y Alcides Vigo en 1996; Gallardo consiguió su tricampeonato personal, curiosamente los mismos años en que Sporting Cristal se proclamaba tricampeón del fútbol peruano.