Med tiden framstod framförallt friidrott som den allvarligaste utmanaren av den frivilliga gymnastikens dominans .