Vogler studerte rettslære og teologi i Bamberg. 22 år gammel ble han kapellan ved kurfyrsten av Mannheims hoff. Fyrsten hjalp ham til et musikkstudium i Italia, der Vogler studerte hos Francesco Antonio Vallotti og andre.