Con Sonny a cargo de las composiciones y la producción, el dúo inició su carrera bajo el seudónimo «Caesar and Cleo» y estrenaron las canciones «The Letter» bajo el sello de Vault Records y «Do You Wanna Dance» y «Love Is Strange» bajo el sello de Reprise Records, todas ellas en 1964.