Peter Elder besuchte die öffentlichen Schulen seiner Heimat und unterrichtete danach als Lehrer. Im Jahr 1857 zog er in das Kansas-Territorium, das zu jener Zeit von blutigen Kämpfen zwischen Anhängern und Gegnern der Sklaverei heimgesucht wurde. Elder war er Gegner dieser Institution. Er war am Aufbau des dortigen Franklin County beteiligt. Politisch wurde er Mitglied der Republikanischen Partei. Im Jahr 1859 war er als "Clerk" beim territorialen Repräsentantenhaus angestellt. Nach dem Beitritt Kansas’ zur Union wurde er Mitglied im dortigen Senat. Während des Bürgerkrieges wurde er von der Bundesregierung damit beauftragt, die heimischen Indianerstämme der Union gegenüber freundlich zu stimmen und einige Indianer sogar für das Heer der Union zu gewinnen. 1865 zog er nach Ottawa; im Jahr 1868 wurde er erneut in den Senat von Kansas gewählt und 1870 war er Staatsvorsitzender seiner Partei.