Anders Wyller var sønn av Thomas Christian Wyller (1858–1921) og Birgitte Platou (1862–1922). Faren var stadsfysikus (bylege), av slekten Wyller, og mora av slekten Platou. Anders selv ble gift i 1926 med Anne-Marie Strindberg (1902–2007), som var datter av den svenske forfatteren August Strindberg. Deres sønn Arne August Wyller (1927–2001) ble en anerkjent astronom og professor i USA. En annen sønn ble far til musikeren Anders Wyller (født 1964).