I slutten av 1965, byttet The Echoes navn til The Emeralds, og etter hvert til The Lost Souls. Joel sluttet i bandet i 1967 for å slutte seg til The Hassles, et band fra Long Island,som hadde skrevet kontrakt med United Artists Records. I løpet av halvannet år, hadde bandet utgitt 4 singler og to album ( og ). Alle innspillingene ble en were kommersiell fiasko. Joel og trommeslageren Jon Small sluttet i The Hassles i 1969 for å danne duoen , som ga ut det selvbetitlede debutalbumet i juli 1970. Duo avsluttet karrieren i oktober samme år, da Joel begynte et forhold med Smalls kone, Elizabeth. Paret ble senere gift.