Alfred era el segon fill del general major Sir Henry Creswicke Rawlinson, un soldat, diplomàtic i expert en antiguitats perses. La seva mare era Louisa Caroline Harcourt, filla del membre del Parlament pel Partit Tory per Taunton Henry Seymour. El seu germà gran, Henry Rawlinson, 1st Baron Rawlinson, arribà a General i comandà la Batalla d'Amiens i l'Ofensiva dels cent dies que posà punt final a la Primera Guerra Mundial.