Ihre ersten Erfolge feierte Bailly im Jahre 2003, als sie bei den Biathlon-Weltmeisterschaften in Chanty-Mansijsk zwei WM-Medaillen erringen konnte. Nachdem im Verfolgungsrennen nach einem äußerst knappen Zielsprint zuerst der Deutschen Martina Glagow die Gold- und Bailly die Silbermedaille zugesprochen wurde, erklärte die IBU später erstmals in der WM-Geschichte zwei Athletinnen zu Siegern. Sechs Tage später gewann Bailly außerdem die Bronzemedaille im Massenstart. Über die Jahre hinweg konnte sie sich stetig steigern und zählte 2002/03 in ihrer dritten Saison mit dem 6. Platz erstmals zu den zehn besten Athletinnen der Gesamtwertung.