Il primo insediamento conosciuto sull'attuale sito di Cracovia fu stabilito sulla collina del Wawel e risale all'IX secolo. La leggenda attribuisce l'istituzione della città al mitico sovrano Krakus, che la costruì sopra una grotta occupata da un drago famelico, lo Smok wawelski. Molti cavalieri tentarono invano di spodestare la creatura mitica dal sito con la forza fallendo, ma, invece, Krakus gli diede da mangiare un agnello avvelenato e lo uccise in tale maniera. Uccisa la bestia, la città era a quel punto libera di prosperare: le ossa del drago, molto probabilmente quelle di un mammut, sono esposte all'ingresso della cattedrale del Wawel. Prima della formazione dello stato polacco, Cracovia era la capitale della tribù dei vistolani, i quali vissero per un breve periodo sotto la Grande Moravia. Dopo che la Grande Moravia fu sottomessa dagli ungheresi, Cracovia divenne parte del regno di Boemia. La prima apparizione del nome della città nei documenti storici risale al 966, quando un viaggiatore ebreo sefardita, Ibrahim ibn Ya'qub, descrisse Cracovia come un grande centro commerciale sotto il dominio dell'allora duca di Boemia Boleslao I il Crudele. Si fa inoltre riferimento al battesimo del principe Miecislao I, oltre a riferire il suo status di fondatore del Ducato di Polonia. Verso la fine del suo regno, Miecislao sottrasse Cracovia ai boemi e la incorporò nei possedimenti della dinastia Piast.