Con la , Rudy disputó la Eurocopa Sub-21 de 2013. En mayo de 2017, Joachim Löw lo seleccionó entre los futbolistas que jugarían la Copa Confederaciones, donde el equipo alemán integró el grupo B junto con Australia, Camerún y Chile. El 2 de julio, los alemanes se coronaron campeones del torneo tras derrotar a Chile en la final por 1:0. El 10 de junio de 2017, Rudy anotó un gol en la victoria 3:1 sobre Irlanda del Norte en un partido por la clasificación de UEFA para la Copa Mundial de Fútbol de 2018. El 4 de junio de 2018 integró la lista de veintitrés futbolistas a disputar la Copa del Mundo, donde los alemanes compartieron el grupo F junto con las selecciones de Corea del Sur, México y Suecia. El 23 de junio, en el segundo encuentro de la fase de grupos, derrotaron por 2:1 a los suecos en el último momento con un gol de Toni Kroos; Rudy debió ser sustituido en el primer tiempo debido a una hemorragia nasal provocada por un golpe accidental de Ola Toivonen. El 27 de junio, fueron eliminados en primera ronda tras perder por 2:0 ante los surcoreanos.