犀牛化石是在始新世早期的地层中挖掘出来的貘犀，此种犀牛的祖先与现代貘类的大小差不多，犀牛祖先之一种森林犀牛在欧洲曾广泛存在过，个体很小而且善于奔跑。
渐新世（约距今3600万-2500万年前）.现代在亚洲的苏门达腊犀牛之祖先在渐新世出现。另外在渐新世出现了有史以来最大陆生哺乳动物——巨犀，它体格健壮和高大，体长约8米，身高5米。不过虽然巨犀和犀牛同属奇蹄目，但并不属于犀牛科。
中新世（距今2500万～1200万年前）.中新世的后期，出现了独角犀牛的祖先。