Hansen var sønn av den seminarist-utdanna læreren og kirkesangeren Hans Hansen fra Vestfold (1812–1897) og Anne Marie Ellingsen (1825–1920). Hansens mor var oppkalt etter morfaren, Elling Pedersen, Rove (f. 1787), franske kone Anne Gilet (1785-1824?) fra Milizac, Finisterre. Morfaren druknet på sjøen i 1833. Den republikanske politikeren Karl Rove deler indirekte slektskapsbånd til den tidligere familiegården Rove på Hvaler, gården som Hansens morside en gang eide.