Javier Fernández nació en Madrid y creció en el barrio de Cuatro Vientos. Es del futbolista Iker Casillas. Comenzó en el patinaje en el "Club Igloo" de Majadahonda, donde sus entrenadores fueron Carolina Sanz e Iván Sáez. Más tarde, se vio obligado a mudarse a otra pista en Madrid y comenzó a recibir entrenamiento por Jordi Lafarga en el "Club Circus Villalba". Posteriormente volvió al "Club Igloo" y continuó con Lafarga. En la temporada 2007-2008 alcanzó la decimoséptima posición en el Campeonato Europeo, pero no logró clasificarse para el programa libre en el Campeonato Mundial. Actualmente forma parte del "Club Ice Leganés", donde su hermana es además entrenadora.