Fahlstrøm vokste opp på Slemdal i Christiania, og var eneste sønn av skuespiller, maler og teatersjef Johan Fahlstrøm og skuespillerinnen Alma Fahlstrøm. Familien var sentrale i Kristianias teaterliv og hadde blant annet drevet Fahlstrøms teater. I 1948 gav foreldrene en statue laget av Pietro Tacca til Slemdal skole til minne om sin sønn som hadde vært elev ved skolen.