Rüdigers Mutter stammt aus Sierra Leone, sein Vater, der ebenfalls aus Afrika stammt, ist Berliner und deutscher Staatsbürger. Aufgrund des Bürgerkriegs in Sierra Leone waren sie nach Deutschland geflohen, wo Antonio in Berlin geboren wurde. Er ist der Halbbruder des ehemaligen Fußballspielers Sahr Senesie, der sein Berater ist.