Khi còn bé, Cayley thích giải những bài toán khó để giải trí. Ông được học tại đại học Trinity, Cambridge, nơi ông xuất sắc trong các môn tiếng Hy Lạp, tiếng Pháp, tiếng Đức, và tiếng Ý, cũng như toán học. Sau đó , ông làm luật sư trong suốt 14 tháng.