George Wallis giftet seg med Matilda Condell (1818–1888) i 1842. To av deres barn døde som spedbarn. Etter at han fikk jobben som forvalter av South Kensington Museum, bosatte familien Wallis seg permanent i nr. 4, The Residences, South Kensington, hvor de fire gjenlevende barnene – George Harry (1847–1936), Jane Kate (1849–1934), Whitworth (1855–1927) og Rosa (1857-ca. 1939) – vokste opp. George Harry og Whitworth fikk en god utdannelse og trente med sin far ved South Kensington Museum. George Harry ble først direktør av Nottingham Castle Museum & Art Gallery (åpnet i 1878). Whitworth Wallis var den første direktør av Birmingham Museum & Art Gallery (åpnet i 1883). Han ble slått til ridder i 1912.