Macfarren var sønn av George Macfarren (1788–1843), danselærer, librettist og journalist av skotsk avstamning, og hans hustru Elizabeth, født Jackson. Han hadde et synsproblem fra barndommen av som i 1860 førte til blindhet, men ikke gav noe brudd i hans produktivitet, skjønt han ble da enda mer henvist til sine assistenters medarbeid. Også hans lillebror Walter (1826–1905) var komponist (og i lewngre tid klaverlærer ved Royal Academy of Music i London).