夫人的一支波默尔人由沃洛格达地区进入北德维纳河流域，于14世纪时建立了霍尔姆戈里的雏型，旧名为Kolmogory，是诺夫哥罗德在北方的一座贸易站。霍尔姆戈里的重要性在16世纪中叶起大幅提高，由于英格兰与莫斯科之间打通了白海与巴伦支海的航线，双方新设的莫斯科公司将此视为西伯利亚毛皮贸易的重心。在俄国的「混乱时期」（1598−1613），来自波兰－立陶宛的（Lisowczycy）也曾经围攻霍尔姆戈里的木造堡垒，但功败垂成。在罗曼诺夫王朝，霍尔姆戈里的重要性开始下降，也转变成接收流放贵族的城镇，如沙皇伊凡六世被推