Согласно данным археологии, первые поселения появились в районе Кельча во времена неолита, около 7.000 лет назад. Нынешний же город был основан приблизительно в X веке, первое письменное упоминание о нём относится к 1131 году. Кельч развивался как богатый торговый город, однако в XIV веке феодальные междоусобицы в Моравии и, в особенности, Гуситские войны негативно отразились на его хозяйстве. В XVI столетии город вновь успешно развивался, в нём открывается пивоварня, в 1580 году жители были освобождены от крепостных повинностей по отношению к их сеньору-епископу. Однако во время Тридцатилетней войны Кельч был неоднократно подожжён и разграблен, число жителей в нём уменьшилось до 1/5 части. С окончанием войны состояние упадка продолжалось и в XVIII веке. В 1750 году город был лишён епископом звания города (возвращено оломоуцскими епископами в конце XVIII века). В XIX столетии здесь развивается производство курительных трубок. В настоящее время Кельч в значительной степени живёт за счёт сельского хозяйства.