King var med på å starte acid rock-bandet Strawberry Alarm Clock i Los Angeles. Han ble kjent med medlemmene i Lynyrd Skynyrd i Jacksonville i 1968, da Strawberry Alarm Clock var oppvarmingsband for dem. Han ble med i Lynyrd Skynyrd da han midlertidig erstattet bassisten Leon Wilkeson. Da denne returnerte til bandet, gikk King over til gitar.