Williams (a quien sus padres llamaban con el nombre italiano Armando) creció en el barrio Little Italy (pequeña Italia), de Manhattan.