Use Mes debutalbum A Little Romantic ble innspilt i Åmål i Sverige i 2010 med produsent Eric Höjdén fra bandet Kid Down. 24. desember 2010 signerte bandet platekontrakt med Universal Music Group, som lanserte A Little Romantic 24. januar 2011. Use Me opptrådte ved flere anledninger på TV og radio i 2011, inkludert God morgen Norge, Popsalongen på P3, Melodi Grand Prix, og NRK Østfold med sin sang «You’ve Got A Friend» i forbindelse med valget.