Благодаря череде удачных выступлений удостоился права защищать честь страны на летних Олимпийских играх 1956 года в Мельбурне — финишировал четвёртым в беге на 1500 метров и шестым в беге на 5000 метров. Олимпиада проходила одновременно с вооружёнными волнениями в Венгрии, и Табори вместе со своим тренером Иглои решил бежать на Запад. Вскоре он перебрался на постоянное жительство в США, поселившись в Калифорнии.