Philipp Albrecht entstammt dem "2. Ast (Bonfeld)" der "II. Linie (Gemmingen und Guttenberg)" der Freiherren von Gemmingen. Er war der jüngste der drei Söhne des badischen Kammerherrn und Ritterrats des Ritterkantons Kraichgau, Ludwig Eberhard von Gemmingen-Guttenberg (1750–1841), und der Louise Auguste Freiin von Saint-André (1752–1815). Er besuchte die Karlsschule in Stuttgart und war danach in österreichischen Militärdiensten, später in Diensten Württembergs. Auf württembergischer Seite nahm er am Winterfeldzug 1812 nach Russland teil, wo er bei Smolensk verwundet wurde. In die Heimat zurückgekehrt wurde er Direktor des Militärgestüts in Freudental. 1817 wurde er Leiter des Königlich Württembergischen Gestüts Weil und aller anderer königlicher Privatgestüte. Er bekleidete zuletzt den Rang eines Generalmajors und galt als vortrefflicher Pferdekenner, Reiter und Jäger.