Georges første band, The Factory, ble etablert i 1965. Blant medlemmene var framtidige trommeslager i Little Feat, Richie Hayward, (som erstattet Dallas Taylor i september 1966), og Martin Kibbee (også kjent som Fred Martin) som senere skrev flere av Little Feats sanger med George, blant annet «Dixie Chicken» og «Rock & Roll Doctor». Frank Zappa produserte to sanger for gruppa. The Factory hadde en opptreden på situasjonskomedien F Troop på 1960-tallet som «The Bed Bugs».