Til tross for overveldende mottakelser på sine opptredener, ble Horowitz mer og mer usikker på sine evner som pianist. Flere ganger trakk han seg fra offentlige opptredener, og det sies at ofte var det bare hans kones overtalelsesevne som stoppet ham fra å avlyse konserter i siste øyeblikk. Etter 1970 ga han sjelden soloopptredener.