Ellison 2008 Pekin, 2012 Londra ve 2016 Rio Olimpiyatları'nda ülkesini temsil etti. Amerikalı okçu Pekin'e ikinci turda Kanadalı Jay Lyon'a yenilerek veda etmişti. Ellison'un yer aldığı ABD takımı da ilk turda Tayvan'a yenildi. Amerikalı sporcunun bireysel mücadelesi Londra'da da ikinci turda bitti ancak ABD takımı bu kez finale kadar yükseldi. Ellison, Jake Kaminski ve Jacob Wukie'den oluşan takım, finalde İtalya'ya kaybederek gümüş madalyada kaldı. Amerikalı okçu, Rio'da bireysel yarı finalinde Ku Bon-chan'a yenildi; ardından üçüncülük maçında Sjef van den Berg'i yenerek bronz madalyanın sahibi oldu. Ellison, ABD takımıyla (Zach Garrett ve Jake Kaminski ile birlikte) çıktığı müsabakalarda Londra'nın ardından bir kez daha final gördü. Bu kez rakip Güney Kore'ydi ancak sonuç değişmedi ve Ellison ikinci kez takım okçuluk gümüş madalyasının sahibi oldu.