Stasjonsbygningen er oppført i 1900 som endestasjon for Gjøvikbanen, som da foreløpig ikke gikk lenger enn til Røykenvik. Det er en særpreget bygning i teglsteinsgotikk, tegnet av jernbanens daværende arkitekt Paul Due. De to første årene var den midlertidig endestasjon for persontogene inntil Etterstadskjæringen ble ferdig og banen kunne fullføres i 1902. Den var tenkt som utgangspunkt for Nordbanen og en planlagt ringbane nord for Kristiania. Grefsen er en av svært få stasjoner som fremdeles betjenes av togekspeditør, men billetter selges ikke lenger ved stasjonen. Grefsen stasjons lokomotivstall er ikke lenger i bruk til jernbaneformål, det er heller ikke godshuset eller den bevarte svingskiven.