קאסלי זומן לראשונה לנבחרת צ'ילה ב-1969. הוא היה חבר בסגל הנבחרת למונדיאל 1974 בגרמניה המערבית, והיה לשחקן הראשון בתולדות משחקי גביע העולם בכדורגל שמוצא לו כרטיס אדום, לאחר שביצע עבירה על שחקן נבחרת גרמניה המערבית ברטי פוגטס. המונדיאל נערך חודשים ספורים לאחר ההפיכה הצבאית בה הודח הנשיא סלוודור איינדה, ואת השלטון תפס אוגוסטו פינושה. פינושה רדף את מתנגדיו, ורבים מהם עונו או נעלמו. גם רופא הנבחרת נעצר, והוא שוחרר רק לאחר שהקפטן פרנסיסקו ולדס הודיע כי אם לא ייעשה כן, לא יצא עם הנבחרת לגרמניה. קאסלי, שהיה מזוהה עם השמאל בצ'ילה, הופיע למפגש עם פינושה ערב הנסיעה למונדיאל כשהוא לובש בנדנה אדומה וסירב ללחוץ את ידו. במהלך המונדיאל הביע את מחאתו נגד פינושה בדרך נוספת, כאשר במהלך נגינת המנון צ'ילה בפתיחת המשחק מול נבחרת גרמניה המזרחית, שר שיר אחר, והדבר נראה בבירור בצילומי הטלוויזיה. שלטונות צ'ילה הורו למערכות העיתונים במדינה לתארו כבוגד. הוא לא נעצר עם שובו, ככל הנראה משום שהחזיק בדרכון ספרדי, אך אמו נעצרה, ואף חוותה עינויים קשים. במשך השנים הבאות לא זומן לסגל הנבחרת, אף שהיה בין השחקנים המוכשרים בארצו באותה העת. בסופו של דבר אושרה חזרתו לסגל הנבחרת ב-1979, ובטורניר הקופה אמריקה שנערך באותה שנה הבקיע את שני השערים לזכות נבחרתו בניצחונה על נבחרת פרו בשלב חצי הגמר. כן נכלל בסגל הנבחרת במונדיאל 1982, ואולם מטורניר זה זכור בעיקר כמי שהחמיץ בעיטת עונשין במשחק מול נבחרת אוסטריה.