Irnsing war über die Jahrhunderte Sitz eines adeligen Hauses sowie eine eigenständige Hofmark, zu der eine stark befestigte Burg gehörte. Die Herren von Irnsing, welche sich nach „Irensingen“ und „Pferingen“ (Pförring) benannten, sind urkundlich von 1109 bis 1470 nachweisbar. Auf die „Irnsinger-Pförringer“ folgte das ritterbürtige Geschlecht der Prantl. Durch Heirat der Witwe des Hofoberrichters Franz Adam Prantl gelangte der Besitz um 1690 an Marquard Ludwig Ferdinand Freiherr von Nothaft. Nach dessen Tod ging der Güterkomplex auf die Cammerloher von Weiching über, welche die Niedergerichtbarkeit auch über den Ort Hienheim ausübten. Unter Josef Freiherr von Speidel von Adlerskron, der Erbe des 1774 verstorbenen Marquard Eustachius von Cammerloher, gingen die Gerichtsbefugnisse kurzfristig an die Gerichte Kelheim und Neustadt verloren. 1783 erwarb der Kämmerer und Pfleger von Mindelheim, Reichsfreiherr von Lerchenfeld, die Sitze Irnsing und Hienheim und erhielt damit die damit verbundenen Jurisdiktionsbefugnisse zurück. Durch Vermählung mit Anna Reichsfreiin von Lerchenfeld ging der Besitz an Major Joseph Freiherrn von Schleich über, welcher im Russlandfeldzug von 1812 in russische Kriegsgefangenschaft geraten war. Im Jahre 1822 kaufte der königliche Kämmerer Franz Freiherr von Gruben die Hofmark Irnsing. Bis zur Aufhebung der gutsherrlichen Gerichtsbarkeit im Jahre 1848 blieb sie in seinem Besitz.