Halldórsson wziął udział w V Letnich Igrzysk Olimpijskich w Sztokholmie w 1912 roku, gdzie wziął udział w jednej konkurencji. Na dystansie 100 metrów odpadł w fazie eliminacyjnej zajmując w swoim biegu, z czasem 12,1 sekundy, czwarte miejsce. Wziął także udział w rozgrywkach w grze o nazwie Glima, która obok baseballu, była dyscypliną pokazową.