Rydberg er også kjent for som ble tonesatt av Alice Tegnér, og som innledes med orden «Gläns över sjö och strand». Rydberg var svært interessert i magi og førkristne trosforestillinger og skrev blant annet boken , med sammendraget . Han skrev også forordet til , Victor Pfeiffs svenske oversettelse av Edwin Arnolds . Den svenske avdelingen av Teosofiska Samfundet ble grunnlagt i Rydbergs hjem på Djursholm. Han var dog selv aldri medlem av denne esoteriske foreningen.