Er hatte mit seiner aus Heiligkreuz stammenden Gemahlin 15 Kinder, von denen jedoch nur sieben das Erwachsenenalter erreichten. Von seinen Söhnen dienten Joseph (1823–1848) und Johann (1829–1869) als Offiziere in der 22. Kaiserjäger-Kompanie. Joseph Hofer Edler von Passeyr fiel als Leutnant im Alter von 25 Jahren im Vorfeld der Schlacht von Goito. Feldmarschall Radetzky erwähnte den Tod des Enkels Andreas Hofers eigens in seinem Bericht über die Kämpfe, und der Kaiser ordnete die Beisetzung des Gefallenen in der Hofkirche Innsbruck an. Johann geriet im Vorfeld der Schlacht von Goito in piemontesische Gefangenschaft. Später machte er als Kaiserjäger-Leutnant den Feldzug der kaiserlichen Truppen gegen die aufständischen Ungarn mit.