Jemenjernspurv blir omkring 15 cm lang og veier typisk 20–24,3 g. Hannen har mørk gråbrun krone og øredekkere som har svake mørkebrune striper, og atskilt av iøynefallende hvitt eller hvitaktig strek som når så langt som til de bakre øredekkerne. Nakken er grå, kappen og rygg varmbrun med svartaktige eller veldig mørk brun striper, men overgumpen mangler striper. Vinger og stjert er mørkebrun, med to bleke vingebånd formet av kremfargede fjærspisser til medianen og de større dekkerne. Kinn og strupe blek sandfargede, med ei tydelig mørkflekket kjølstripe; bryst, flanker og frambuken er blek, med mørke brunaktige striper, og undergumpen er kremhvit eller svært blek sandfarget. Kjønnene svært like, men hunner i gjennomsnitt skiller seg fra hanner ved å være generelt dusere utfarget, ofte med mindre oransje i brystet, og lysere brune øredekkere, slik at mønsteret på hode ser mindre kontrasterende ut.