Hos rovfugler er hunnen større enn hannen, og hos spurvehauken er forskjellen betydelig. Hannen er 28-34 cm lang og har et vingespenn på 58-65 cm. Hunnen måler 35-41 cm og har et vingespenn på 67-80 cm. Hunnen veier 220–345 g, hannen 130–175. Fuglen har lang hale med 4-5 mørke tverrband og breie, avrunda vinger. Hunnen er brungrå på oversida og tverrstripa brun på undersida. Hannen er grå på oversida og tverrstripa oransjerød under. Spurvehauken forveksles ofte med den større hønsehauken; særlig kan en stor hunn forveksles med en liten hønsehaukhann. Spurvehaukens hale har skarpe hjørner, mens hønsehaukens er mer avrundet. Hønsehauken er dessuten kraftigere.