Ông bắt đầu sự nghiệp tại câu lạc bộ Ajax dưới thời huấn luyện viên Rinus Michels. Trong mùa giải đầu tiên của mình tại câu lạc bộ, ông đã không được thi đấu nhiều. Sau sự ra đi của hậu vệ cánh trái Theo van Duivenbode, chuyển đến Feyenoord vào mùa hè năm 1969, Krol đã trở thành một cầu thủ thường xuyên được sử dụng. Khi Ajax vào đến trận chung kết Cup C1 châu Âu trong năm 1971, Krol đã không thể góp mặt vì bị gãy chân, tuy nhiên với sự xuất sắc của toàn đội thì Ajax vẫn vô địch. Nhưng sau đó, Krol đã được chơi trong trận chung kết Cup C1 châu Âu năm 1972 và 1973. Sau khi những thành viên khác như Johan Cruijff và Johan Neeskens tới một câu lạc bộ mới (cả hai đều đến Barcelona), Piet Keizer giã từ sự nghiệp thi đấu bóng đá vào tháng 10 năm 1974, thì Krol được bầu làm đội trưởng, và ông ở lại Ajax cho đến năm 1980.