I 1501 ble stedet sete for et starostwo. Fra 1519 til 1644 ble starostembedet arvet av slekten Firlej. På den tiden utviklet stedet seg til å bli et viktig omlastingssted for kornet som ble fraktet nedover Wisła. I 1628 slo fransiskanerne seg ned i Kazimierz Dolny og bygde et kloster.