Neuffer war ab 1891 mit der Schriftstellerin Hildegard Neuffer-Stavenhagen (1866–1939) verheiratet und Vater von vier Kindern. Er war somit ein Schwippschwager der Kammersängerin Agnes Stavenhagen. Seine Tochter Hilde (später Rawson) heiratete in erster Ehe den Violinvirtuosen Max Strub. Neuffer zählte zu den Künstlerfreunden Rudolf Steiners, seine Frau und er waren an Anthroposophie interessiert. Steiner stand bei seinem Sohn Harald Pate. Seine Söhne fielen im Ersten Weltkrieg, Hans-Armin († 1915) in der Winterschlacht in der Champagne und Harald († 1917) an der Ostfront.