מרבית הפליטים הגיעו לשטרסבורג, אז עיר חופשית בשולי האימפריה הרומית הקדושה המפוררת, שם יסד מרטין בוצר, נזיר דומיניקני לשעבר שהוחרם על ידי הכנסייה, כנסייה רפורמית. בוצר היה דמות בעלת השפעה רבה יחסית בחוגי הרפורמציה, ובין היתר ניסה בעבר לפשר בין מרטין לותר והרפורמטור השווייצרי אולריך צווינגלי מציריך, שהתקוטטו ביניהם על משמעות הטרנסובסטנציאציה בטקס האוכריסטיה: לותר טען שעל אף שאכן אין הלחם הופך לבשרו של הצלוב, הרי שהצלוב נמצא פיזית בתוך לחם, וסביבו. צווינגלי טען שהלחם והיין הם ייצוג סמלי של גופו של ישו, ולא המהות עצמה. פלוגתא דתית זו, שאולי נראית למתבונן מבחוץ כמה בכך, כסכולסטיקה תאולוגית מיותרת, פילגה את הפורשים מהכנסייה הקתולית ללותרנים ורפורמים. גם לאחר שצווינגלי נהרג ב-1531 בצאתו ככומר לוחם לקרב, כשציריך הותקפה על ידי קנטון סמוך, סירב ממשיכו בולינגר לפשרה שהציע בוצר.
על אף שרוב הפליטים נמלטו לשטרסבורג, העדיף קלווין מעדיף לנסוע למו (Meaux) שבצרפת, שם פגש את ז'ק לפבר. ייתכן שבשלב זה קלווין כבר גמר אומר לעזוב את הכנסייה, והפגישה עם לפבר נועדה לנסות ולהשפיע על הכומר ההומניסט הזקן, שכתביו השפיעו עליו כה רבות בהיותו סטודנט בפריז, שיצטרף אליו בעזיבתו. סביר יותר שקלווין חשש מהגלות, וניסה להצטרף לכנסייתם של לפבר ותלמידו בריקונה, שכיהן כבישוף מו. השניים הללו החלו לבצע רפורמות בדיוקסיה מעת מינויו של בריקונה לבישוף. כנראה לא צלחה לו דרכו, אם בשל אי הסכמה תאולוגית ואם בשל בעיות של חול, וקלווין לא התיישב שם, אלא המשיך לבזל. כעבור שנתיים הואשמו גם הכמרים בדיוקסיה של מו בפרוטסטנטיזם, ולפבר נאלץ להימלט לשטרסבורג.
גלות.
בבזל, שהייתה כבר פרוטסטנטית לותרנית, נשמרה סובלנות תאולוגית ותרבותית עד כדי כך שאף ארסמוס, הומניסט אוונגלי שלא פרש מהכנסייה הרומית, העדיף לעבור אליה מפרייבורג הקתולית. לשם גם ברח ניקלאס קופ, רקטור האוניברסיטה בפריז עמו עבד קלווין.
מעתה ואילך קלווין התגעגע תמיד לצרפת. אפילו בכתביו המאוחרים הוא היה גאה בהיותה של הכנסייה הצרפתית גאליקנית, ולפיכך כפופה לאפיפיור ברומא רק ככל שהיא רואה לנכון. בהיותו בגלות, הוא תמיד חש בין זרים, תלוש ומנוכר. דבר זה השפיע גם על מידת האחריות שראה לנכון לקחת על כתפיו בפיתוח משנתו שניתקה את צאן מרעייתו מהכנסייה הרומית. תהליך הדרגתי זה התרחש במקביל להתרחקותו של קלווין ממכורתו ומכור מחצבתו: "הגלות עצמה היא כאובה, ומתיקות אדמת המולדת קושרת את כל האנשים לאדמתם". קלווין ראה את עצמו במידה רבה כאברהם, שנשלח על ידי אלוהים מארץ מולדתו בארם נהריים לכנען, ולא היסס לקרוא לחבריו שנותרו בפריז להצטרף אליו. אך הוא גם לא היסס לכתוב להם שהעזיבה לא תהיה לטובת סיר הבשר, ושהאנשים בסביבתו הם גסים, בורים, ושהשלטון "מעמיד מבחנים קשים מאוד בדרכו של נוצרי השואף לאמת" – תיאור שמאפשר לנו הצצה על האופן שבו חש קלווין את הגולה.
מכיוון שנשללה מקלווין בגלותו הנחמה שבקרובים וחברים שהיו לו בפריז, ניתן להסיק שמרגע גלותו חש קלווין כי יותר ויותר כי הוא עומד למבחן ישירות מול האל, באינטנסיביות שהיא רבה יותר מאדם אחר ששרוי בקרב קרוביו וחבר מרעיו. שלא כמו מבחן החברות ההומניסטי של הפרשנות שכתב לסנקה, מבחן שעליו יכול היה לקבל תשובה על פי תגובת הקוראים – הרי שבמבחן זה 'השופט' שתק, ומכיוון שכך – לא נותר לקלווין אלא להניח כל העת את הרע מכל.
בבזל, עדיין 'ארסמיאני' בדעותיו במידה רבה, ניסה קלווין להבהיר לעצמו את עמדותיו התאולוגיות על ידי כתיבה. הכתיבה שימשה עבורו מעין 'מנוף מינכהאוזני', כמו עבור אינטלקטואלים רבים אחרים, באופן כזה שדברים שהוא עצמו כתב קידמו את דעותיו המתקצנות והולכות.
בתחילה כתב הקדמה לתרגום צרפתי לתנ"ך שכתב בן דודו, פייר אוליווטאן, הקדמה שביטאה לראשונה סלידה מפורשת מהשחיתות הכנסייתית. לאחר מכן החל בכתיבת חיבור תאולוגי שנקרא מוסדות הדת הנוצרית, חיבור שכתיבתו נסתיימה בסוף 1535, והודפס מעט לאחר מכן. 'מוסדות' הושפע מאוד מלותר, וקלווין אף הודה בכך. אם כי לותר מכנה אותו שטן, קלווין אומר שהוא רואה בלותר אחד מעמודי התווך של הרפורמציה. לא אבי הרפורמציה, אלא אחד מאבותיה.
ההקדמה ל'מוסדות' מהווה פנייה למלך צרפת פרנסואה הראשון להפסיק את הרדיפות אחר פרוטסטנטים. בדיעבד קלוויניסטים מסבירים את אופייה המתון של המהדורה הראשונה בכך שקלווין ביקש שתתקבל על דעתו של המלך. אף על פי כן אפשר להניח כי המתינות מעידה עדיין על החיפוש העצמי של קלווין, על העובדה שקלווין, גם ב–1536 בבזל, עוד לא הגיע למשנתו התאולוגית הסופית.
כעבור כמה חודשים עזב קלווין בן ה-27 את בזל, נסע לאיטליה, חזר, הסתכן במסע לפריז לסידור ענייניו האישיים, ולבסוף החליט לצאת צפונה לכיוון שטרסבורג. הטריד אותו הצורך להביא תועלת. אותו אידיאל ארסמיאני, והומניסטי בכלל, ששולל את הלמדנות לשמה, את העיסוק בלימוד טהור, את ה-vita contemplativa. כל השכלתו, כך גרס, ניתנה לו רק כדי שיוכל להביא תועלת לזולת. זה היה אחד הכוחות שדחפו אותו לכתוב, וזה היה אחד הכוחות שדחפו אותו לעזוב את בזל ולחפש לעצמו קהילה משלו. בדרכו לשטרסבורג הפריסה של נציגי השלטון והמצב הצבאי כפו עליו מעקף גורלי מדרום, מעקף שהביא אותו לז'נבה.
ז'נבה.
קלווין סיפר בזיכרונותיו מאוחר יותר כי התכוון לשהות בז'נבה לילה אחד, בעילום שם, ולהמשיך הלאה. אך נוכחותו בז'נבה נתגלתה לגיום פארל, מנהיג הרפורמציה בז'נבה, והלה הגיע לפגשו. תיאור עצמי זה תואם את הנרטיב ההומניסטי של איש דעת וספר שנמשך לעשייה הפוליטית בניגוד לכוונתו.
ז'נבה הייתה עיר גדולה, שמנתה כ-10,000 תושבים. מבחינה פוליטית הבישופות של ז'נבה הייתה כפופה לדוכס של סאבויה, מפיימונטה שמדרום לה. כשקלווין הגיע לעיר, תושביה היו שרויים במאבק מתמשך להשתחרר מעול הדוכס, וגייסו עזרה מהעיר הפרוטסטנטית הסמוכה – ברן. השחרור הפוליטי של הז'נביינים היה תלוי במידה רבה בהמרה דתית. הבעיה הייתה שבהיעדר רפורמטורים מקומיים בעלי שיעור קומה, נאלצו תושבי העיר לתלות את הרפורמה הדתית בגולים צרפתיים, דוגמת פארל וקלווין. אי הרצון להישלט על ידי סאבויה לא הפך את האופציה של שליטה על ידי מנהלנים דתיים רפורמיסטים צרפתיים לקוסמת במיוחד.
מסוף 1536 ועד 1538 (וקלווין עוד אינו בן 30) ניסו השניים לאזן את הרפסודה הרעועה של הרפורמה בז'נבה. השניים נאבקים על הזכות הבלעדית למינוי כמרים ולהטלת חרמות בקהילתם, זכות שלא ניתנה להם, וגרמה לקלווין תסכול רב. במאי 1538 כרתו הז'נביינים ברית עם פלג של אנבפטיסטים גולים שגם כן מצאו מקלט בעיר, מתוך כוונה לשמר לעצמם חירות רבה יותר מזו שהאקטיביזם הדתי של קלווין אפשר להם.
קלווין והאנבפטיזם.
האנבפטיזם, שקרוי כך בשל טקס ההטבלה בבגרות, הוא פן מילנארי רדיקלי ורוחני של הרפורמציה, שדחה את עמדותיהם של הרפורמטורים הפרוטסטנטיים לכך שהכמורה תהיה מורכבת מתאולוגים בוגרי אוניברסיטאות, והתעקש לאפשר להדיוטות, איכרים ופשוטי העם להפוך לכמרים ולהנהיג קהילות דתיות.
זו לא הפעם הראשונה שקלווין נאלץ להתמודד עם ההשפעה הרדיקלית של האנאבפטיזם, ואפילו צווינגלי, שמחוג תלמידיו יצאו שניים מאבות האנבפטיזם, גרבל ומנץ, דחה ב-1525 בקנאות את התנועה ואף הביא להוצאתם להורג של אנאבפטיסטים. הם ראו בכומר כנביא, יותר מאשר מנהיג דתי, והתנגדו להפעלת כוח על ידי הכנסייה בשם הכנסייה או המדינה. הם נרדפו הן על ידי הכנסייה הרומית והן על ידי הפרוטסטנטים.
דוגמה לרדיקליות התנועה ולעוצמת הרדיפות אחריה, התרחשה ביולי 1535, אותה שנה שבה סיים לכתוב קלווין את 'מוסדות' בבזל. מיליציה מקומית כבשה ברשות הבישוף האזורי את מינסטר, עיר צפונית בווסטפליה, הסמוכה לארצות השפלה, שבה התבצרה חבורת אנבפטיסטים בהנהגת יאן מליידן, בעל בית מרזח פוליגמיסט שהכריז על עצמו שהוא דוד המלך. הכובשים הוציאו להורג את כל המורדים.
קלווין ופארל פנו לבקש עזרה מברן הסמוכה נגד האנבפטיסטים, ומשלא נענו עזבו את העיר. קלווין הוזמן על ידי מרטין בוצר לשטרסבורג, לעמוד בראש קהילה של פליטים צרפתיים. קלווין קיבל את ההצעה ושהה בעיר שנתיים.
שטרסבורג.
הקהילה הרפורמית בשטרסבורג הייתה מגובשת ומוסדרת למדי, הייתה שם אוניברסיטה פרוטסטנטית, כשרונותיו של קלווין ודעותיו זכו שם להערכה, והתאפשר לו לעסוק הן בכתיבה, והן בחובותיו כלפי הקהילה, שהייתה נוחה לו הרבה יותר מזו בז'נבה. למרות העובדה שכנראה תחושת הגלות עבור קלווין הייתה חמורה יותר בשטרסבורג, שהשפה המדוברת בה הייתה גרמנית, היה לו שם טוב יותר מבז'נבה. למרות זאת נותרו בז'נבה קומץ חסידים של קלווין, והוא חרד מהרגע שחסידים אלה יקראו לו לשוב אליהם, אל קהילה שכה לא התאימה לו. "יותר מכל אני חושש לשוב לתפקיד שממנו שוחררתי, כאשר אני חושב על המבוכה שחשתי בשירותי. בעוד שאז היה ברור לי שזה היה הייעוד שהאל הועיד לי, כעת אני חרד שמא אאלץ שוב לשאת בעול הזה, שאני יודע שהוא כבד מדי עבורי לשאתו".