Både moren, som Brassens senere kalte en "militant sanger" (militante de la chanson), og de andre familiemedlemmene var svært glade i å synge. Dette miljøet overførte en lidenskap for sang til den unge Georges som skulle komme til å definere hans senere liv. På denne tiden lyttet han konstant til sine tidlige idoler: Charles Trenet, Tino Rossi, og Ray Ventura. Det ble sagt at han elsket musikk over alt annet: den var hans første lidenskap og ble veien som ledet han frem til en karriere. Han fortalte sin venn André Sève, "[det er] en slags indre vibrasjon, noe intenst, en glede som har noe av det sensuelle over seg." Han håpte å bli innskrevet ved et musikk-konservatorium, men moren insisterte på at han kunne bare gjøre dette hvis karakterene ble bedre. Som en følge av dette lærte han seg aldri å lese noter. Han var en dårlig elev og oppnådde bare middelmådige resultater på skolen.