Habartice jsou zmiňovány jako farní ves již v roce 1351 při zřizování litomyšlského biskupství. V mladších pramenech zprávy o faře chybí, zřejmě zanikla za husitských válek. Filiální kostelík byl vystavěn nekatolíky v předbělohorské době za pánů z Vrbna, majitelů panství Branná. Při rekatolizaci byl zasvěcen Neposkvrněnému početí Panny Marie. V roce 1842 byl zvětšen přestavbou do současné podoby.