Hijo del pianista Rudolf Serkin y nieto del violinista Adolf Busch, su madre Irene Busch Serkin, también fue violinista en el "Busch Quartet".