Norman giftet seg i 1864 med fiolinisten Wilhelmina (Wilma) Neruda. Etter at hun gjenopptok sin turnevirksomhet i 1868, ble det snart brudd dem i mellom. Dette tæret hardt på Norman som led av tungsinn og andre sykdommer.