Skvortsov teki läpimurtonsa vuonna 2004, jolloin hän saavutti Madridin pitkän radan EM-kilpailuista hopeaa 50 ja pronssia 100 metriltä. Hän edusti maataan myös Ateenan olympialaisissa, jossa hän sijoittui 200 metrillä seitsemänneksi. Indianapolisin lyhyen radan MM-kisoissa hän sai uransa ensimmäisen MM-mitalin, pronssia 4×100 metrin sekauintiviestissä. Vuoden päätteeksi hän voitti ensimmäisen arvokisakultansa 200 metrin perhosuinnissa Wienin lyhyen radan EM-kilpailuissa, ja oli lisäksi toinen 100 metrillä.