Ayes Sohn Julius Haye (* 4. November 1887 in Eutin; † 7. November 1914 in Tsingtau) diente in der Kaiserlichen Marine zuletzt als Oberleutnant zur See. Er fiel während des Ersten Weltkriegs bei der Verteidigung von Tsingtau gegen japanische Truppen.