Winge vokste opp i et musikkinteressert miljø. Faren, børskommissær Axel Winge (1827–1893), var en god amatørcellist. Moren, Elisabeth Marie Lasson (1832–1918), kom fra kunstnerslekten Lasson og var kusine av Halfdan Kjerulf. Per Winge var bror av pianisten og pianolæreren Lizzie Winge, fetter av komponisten Per Lasson, kabaretartisten Bokken Lasson, maleren Oda Lasson Krogh og psykiateren Paul Winge.