Rosson ble født i New York City. Han kom fra en familie der mange ble involvert i filmindustrien. Den eldste broren hans, Arthur, var en suksessfull regissør, det samme var broren Richard, mens søsteren Helene var skuespillerinne.