Op de Europese kampioenschappen zwemmen 2004 in Madrid behaalde Duboscq twee zilveren medailles, op de 50 en 100 meter schoolslag. Op de 200 meter schoolslag strandde hij in de halve finales en op de 4x100 meter wisselslag behaalde hij samen met Simon Dufour, Franck Esposito en Julien Sicot de zilveren medaille. Op de Olympische Zomerspelen 2004 in Athene sleepte de Fransman de bronzen medaille op de 100 meter schoolslag in de wacht, achter de Japanner Kosuke Kitajima en de Amerikaan Brendan Hansen. Op de 200 meter schoolslag strandde Duboscq in de series, op de 4x100 meter wisselslag eindigde hij samen met Simon Dufour, Franck Esposito en Frédérick Bousquet als vijfde. Tijdens de Europese kampioenschappen kortebaanzwemmen 2004 in Wenen bereikte de Fransman de zesde plaats op de 100 meter schoolslag, op de 50 en 200 meter schoolslag wist Duboscq niet tot de finale door te dringen.