Koloman var sønn av Géza I og en gresk prinsesse hvis navn ikke er kjent. Koloman leste svært meget og ble derfor kalt , som betyr omtrent Koloman den Vise (bokstavelig ). Ladislaus, hans farbror, ville at Koloman skulle bli prest. Da Koloman ikke ville gjøre som hans farbror sa, flyttet han til Polen med hjelp av Márk, Ugra og andre adelsmenn. Ladislaus insisterte på at Koloman skulle komme tilbake og tilbød ham til og med tronen - den trone som tidligere hadde vært bestemt for Kolomans yngre bror, Álmos.