Down nació en Torpoint, Cornualles, procedente de una familia irlandesa: Su bisabuelo paterno había llegado a ser obispo católico de Derry.