Ларс Эллер — хоккеист во втором поколении: его отец, Олаф Эллер, также выступал за сборную Дании, позже работал тренером в чемпионате Дании и спортивным комментатором на датском телевидении, был главным тренером сборной Исландии. В настоящий момент тренирует «Эсбьерг» и молодежную сборную страны. Младший брат Ларса, Мадс Эллер, также профессионально занимается хоккеем, выступает за молодёжную команду шведского клуба «Фрёлунда». В составе молодёжной сборной Дании принимал участие в чемпионате мира 2012 года.