Stedets historie strekker seg tilbake til det 11. århundre. På en av åsene var det en bosetning kalt , som tilhørte benediktinerne. I 1181 ga hertug Kazimierz den rettferdige stedet til premonstratenserkorherrene fra Kraków-Zwierzyniec, som til hans ære kalte stedet . Den første dokumenterte omtale av småbyen er fra 1249. Tilnavnet «Dolny» (= nedre) ble lagt til senere med referanse til plasseringen ved Wisła for å skille Kazimierz Dolny fra Kazimierz ved Kraków - ved Wisłas øvre løp.