En 1936 fue seleccionado para representar al Perú en las Olimpiadas de Berlín de 1936, en aquella campaña Perú llega a cuartos de final donde se enfrenta a una de las selecciones favoritas del torneo: Austria. El partido termina 4 a 2 a favor de los peruanos, pero mediante un reclamo la FIFA decide repetir dicho encuentro. La selección peruana y toda la delegación olímpica decide retirarse de las competencias al considerar injusta y absurda esta nueva disposición. Valdivieso junto con los demás jugadores son recibidos como héroes en su país. Tres años después "el mago" vuelve a ser convocado para el Campeonato Sudamericano 1939 donde la selección gana por primera vez dicho título aunque esta vez Valdivieso formó parte de los suplentes.