W reprezentacji Szwecji Rydberg zadebiutował 26 czerwca 1926 w wygranym 5-3 meczu Pucharu Nordyckiego z Norwegią. W 1934 József Nagy, ówczesny selekcjoner reprezentacji Szwecji powołał Rydberga na mistrzostwa świata. Na turnieju we Włoszech wystąpił w obu meczach Szwecji - z Argentyną i Niemcami. Ostatni raz w reprezentacji wystąpił 16 czerwca 1935 w wygranym 3-1 meczu Pucharu Nordyckiego z Danią. W latach 1927–1935 wystąpił w reprezentacji 24 razy.