Ole-Jørgen Nilsen vokste opp i arbeidermiljø i Halden. Moren var nåtlersken Linnea Johansson og faren industriarbeider og journalist Marinius Nilsen, som døde da Nilsen var 10 år. I sine unge år var han en aktiv turner og fikk gode plasseringer i flere norgesmesterskap. Han tok eksamen artium i 1954 og spilte i to av Brageteaterets oppføringer i løpet av gymnastiden.