Chet Baker vokste opp i en musikerfamilie i Oklahoma. Da han var ti år fikk han en trombone av faren, som selv var gitarist og som beundret Jack Teagarden. Chet var fascinert av Harry James, og byttet derfor trombonen med en trompet. Først spilte han i et skoleorkester, senere på offentlige dansetilstelninger.