Den første stasjonsbyningen, som ble tatt i bruk i 1862, er revet. I 1893 fikk Ilseng en stasjonsbygning tegnet av Paul Due. Denne ble i 1926 flyttet til Jernbanemuseet på Hamar. Dagens stasjonsbygning er et ombygd privathus som ble tatt i bruk i 1921.