Palmisano har arbeidet i IBM siden 1973. Han ble leder for -avdelingen i 1997, før han året etter overtok . I 1999 ble han leder for , før han i 2000 ble Chief operating officer.