Ha svolto tutta la trafila delle nazionali giovanili tedesche, per poi debuttare il 13 maggio 2014 nella nazionale tedesca in una partita amichevole giocata contro la . Viene convocato per la Confederation Cup, manifestazione vinta dalla nazionale tedesca e in cui Rudy scende in campo in cinque partite. Un anno dopo viene convocato per i Mondiali 2018.