De plaats ontstond als Irbejevsk (ook wel Irbitskaja Sloboda genoemd) aan de monding van de rivier de Nitsa (een zijrivier van de Irbit) in 1631 als een van de oudste Russische plaatsen ten oosten van de Oeral. In 1643 kreeg de nederzetting het recht om een markt te houden, de Markt van Irbit, die uitgroeide tot de grootste van Siberië en tweede van tsaristisch Rusland (na Nizjni Novgorod) naar omzet vanaf de 17e tot in de 19e eeuw. Er werden Europese, Aziatische (zoals Chinese thee en katoen) en Siberische producten (zoals huiden en machines) verkocht. De plaats kreeg de naam Irbit in 1662. Omdat Irbit niet had meegedaan aan de Poegatsjov-opstand, kreeg de plaats van tsarina Catharina II in 1775 de stadsstatus. Het was toen onderdeel van de provincie Tobolsk. In 1781 kwam het onder de provincie Perm. In 1790 brandde de stad bijna volledig af.