Panu Toivosen vanhemmat olivat akateemikko, professori Yrjö Toivonen ja Hellä Helena Hänninen. Hän osallistui talvisotaan Helsingin ilmatoriuntapattereissa ja jatkosotaan Vallilan rykmentin riveissä. Sodan jälkeen hän opiskeli Helsingin yliopistossa ja valmistui metsänhoitajaksi. Toivonen työskenteli sitten toimittajana "Kauppalehdessä", "Talouselämä"-lehdessä, "Vakuutussanomissa" ja "Mainostaja"-lehdessä. Hän perusti Suomen ensimmäisen PR-toimiston 1950-luvun lopulla.