Byrne hadde allere som prest gjort seg bemerket ved sitt litterære arbeid. Dette videreførte han som biskop, med oversettelser som av Jacques Millet (1901), foreskrevet av pave Pius X (1905), og Geremia Bonomellis (fire bind, 1909–1911) og (fire bind, 1910). Han forfattet , som han leste på Parliament of the World's Religions i 1903.