Han ble uteksaminert fra The Putney School i Putney, Vermont i 1972, deretter studerte han ved University of Pennsylvania. Olin er gift med sin medstjerne fra serien , Patricia Wettig. Sammen har de barna Clifford og Roxanne (bedre kjent som «Roxy»). Olin er av jødisk avstamming. Datteren Roxanne har gått i foreldrenes fotspor og er også blitt skuespiller.