Winje arbeidet i 25 år som lærer. Som ung vandret han omkring i Sentral-Europa, i tiden like etter andre verdenskrig, og ble godt kjent med den tyske kulturen. I 1965 gjorde han seg for første gang bemerket med en oversettelse av Rilkes .