市位于盆地之中，因此呈现内陆性气候的特征，冬夏温差较为明显。山形市在夏季是东北地方最为炎热的地区之一，常有最高气温超过35℃的情况出现。但由于一日之内气温变化明显，因此夜间和早晨气温较为凉爽。而冬季的山形市气候寒冷，亦不乏降雪天气出现，但由于遮挡住了在日本海发生的雪云，使得山形市是山形县内降雪量较少的地区。山形市的气候观测点被日本气象厅选为日本平均气温和降水量的观测地点之一。1933年7月25日，山形测候所记录下40.8℃的最高气温纪录。直到2007年埼玉县熊谷市和岐阜县多治见市记录下40.9℃的气温为止，