Jernspurven blir cirka 14,5 cm lang og veier typisk 19–20 g. Fjærdrakten er i hovedsak grå og brun. Nebbet er sort og tynt, rygg og vinger er brunspettet, og undersiden, hodet, strupen og brystet er røykgrått til stålgrått. Nyansene varierer noe med underarten. Hunnen er veldig lik hannen, men mindre rik i fargene, og spesielt hode og nakke er blekere med en utvasket brunfarge, mens kappen har mindre utpregede striper. Ungfugler er mindre grå enn de voksne, og fjærdrakten er dusere i fargetonene. Underartene varierer hovedsakelig i fargene og kan være mørkere eller lysere med et mer eller mindre tydelig kontrast mønster.