占庭帝国皇帝阿历克塞一世的孙儿。年轻时他陪伴父亲于安那托利亚和黎凡特等地辗转流亡，期间约翰曾短暂与奇里乞亚亚美尼亚王国统治者莱翁一世的女儿结婚。1138年，约翰的父亲伊萨克与其兄长约翰二世和解，之后约翰便随同父亲回到君士坦丁堡的宫廷居住。但在隔年围困纽该萨利亚城的战役期间，约翰叛逃至敌方达尼什曼德王朝军队的阵地，此后他继续前往鲁姆苏丹国的首都科尼亚，获得苏丹梅苏德一世的接纳并与他的一名女儿结婚。根据部分日后鄂图曼帝国极有可能是虚构出来的传统观点认为，鄂图曼王朝的皇室为约翰遗下的后裔，拥有科穆宁家族的血统。