小学时即辍学并开始工作。此后，他当过小贩、布袋戏班学徒、检字工人等，并前往山东省及中国东北地区谋生；其间，他因曾在日人开设之报社工作而奠定汉语写作能力基础。
文艺与职业生涯.1926年，陈君玉在回到台湾后发表新诗与小说，并在台湾文艺协会成立后活跃于其中。1933年，他投身流行歌坛，被古伦美亚公司聘为文艺部长。1934年，他与理念相近之友人推出《先发部队杂志》；同年，他转入由郭博容创立的博友乐唱片公司，并致力于推动台语流行歌曲发展。1935年，他与廖汉臣等人共同创办台湾歌