Op de Europese kampioenschappen zwemmen 2004 in Madrid sleepte Skvortsov de zilveren medaille in de wacht op de 50 meter vlinderslag en pakte hij de bronzen medaille op de 100 meter vlinderslag, op de 200 meter vlinderslag eindigde hij als vierde. Samen met Arkadi Vjatsjanin, Dmitri Komornikov en Andrej Kapralov bereikte hij de vierde plaats op de 4x100 meter wisselslag. Tijdens de Olympische Zomerspelen van 2004 in Athene zwom de Rus naar de zevende plaats op de 200 meter vlinderslag. Op de wereldkampioenschappen kortebaanzwemmen 2004 in Indianapolis eindigde Skvortsov als vierde op zowel de 100 als de 200 meter vlinderslag, op de 50 meter vlinderslag werd hij in de halve finales uitgeschakeld. Met zijn ploeggenoten Arkadi Vjatsjanin, Andrej Ivanov en Andrej Kapralov legde hij beslag op de bronzen medaille op de 4x100 meter wisselslag. In het Oostenrijkse Wenen nam de Rus deel aan de Europese kampioenschappen kortebaanzwemmen 2004, daar veroverde hij de Europese titel op de 200 meter vlinderslag en sleepte hij de zilveren medaille in de wacht op de 100 meter vlinderslag, op de 50 meter vlinderslag eindigde hij als achtste. Op de 4x50 meter wisselslag eindigde hij samen met Sergej Makov, Roman Sloednov en Andrej Kapralov als vijfde.