Будучи тренером, он возглавлял ряд датских команд. В 1999 году привел «Рёдовре» к победе в чемпионате Дании. Эллер работал главным тренером юношеской и молодёжной сборной страны. В 2011 году был наставником сборной Исландии. В 2013 году повторно возглавил молодёжную сборную Дании. Через год он вывел её в ТОП-дивизион Молодёжного чемпионата мира. На чемпионате мира 2015 года молодёжная сборная Дании под руководством Олафа Эллера добилась самого большого успеха в своей истории, дойдя до четвертьфинала розыгрыша.