רודולף סרקין נולד באגר, בוהמיה (עכשיו צ'ב, צ'כיה) למשפחה יהודית-רוסית. המשפחה עברה לווינה כשרודי היה בן תשע, ושם למד פסנתר אצל ריכרד רוברט וקומפוזיציה אצל יוזף מרקס. רודולף הוכר כילד פלא והופעתו הראשונה בציבור הייתה עם הפילהרמונית של וינה, כשהיה בן 12. הוא החל בקריירת קונצרטים סדירה בשנת 1920 וחי בברלין עם הכנר אדולף בוש ומשפחתו, ביניהם הבת אירנה בת השלוש, שסרקין יישא לאישה כעבור חמש-עשרה שנים. במשך שנות ה-20' וראשית ה-30' הופיע סרקין בכל רחבי אירופה, הן כסולן והן עם אדולף בוש ועם רביעיית בוש. עם עליית היטלר לשלטון עזבה משפחת בוש, יחד עם סרקין, את גרמניה, תחילה לווינה ואחרי הסיפוח, לשווייץ.