ביולי 2011 מונה ביילסה למאמן אתלטיק בילבאו ונחל עמה הצלחות רבות בליגה האירופית ובליגה. ניצחון כפול על מנצ'סטר יוניטד - 2-3 באולד טראפורד ו-1-2 באצטדיונה הביתי של בילבאו. כמו כן, רשם ביילסה ניצחון על שאלקה 04 הגרמנית בחוץ 2-4. הוא הוביל את בילבאו עד לגמר הליגה האירופית אך שם קבוצתו הפסידה 3-0 לאתלטיקו מדריד.