Caselotti ble født i et hjem fylt av sang. Hennes far Guido Caselotti, en immigrant fra Italia, var musikklærer og sangpedagog. Moren Maria Orefice, fra Napoli, var sangerinne ved Romas Teatro Reale dell'Opera, og hennes eldre søster Louise Caselotti var også musikalsk – hun gav stemmeundervisning (blant annet til Maria Callas 1946-47) og sang selv opera.