Peschke, Sohn einer alleinerziehenden Metallarbeiterin, wuchs ab dem ersten Lebensjahr bei Pflegeeltern auf. Nach dem Besuch der Volksschule erlernte er, wie sein Ziehvater Hermann Schulz, den Beruf des Maschinenschlossers und arbeitete später als Werkzeugmacher in der Firma Auer-Osram. Er wurde 1908 Mitglied des Deutschen Metallarbeiter-Verbandes (DMV) und 1912 der SPD. Peschke leistete Militärdienst in der Waffenmeisterschule in Döberitz und ab 1915 Kriegsdienst als Soldat im Ersten Weltkrieg. Er wurde 1917 Mitglied der USPD und war im November 1918 Vorsitzender eines Kompanie-Soldatenrates in Estland. Nach seiner Rückkehr nach Berlin, nahm er dort an den Januarkämpfen 1919 teil. Ende 1920 trat er mit dem linken Flügel der USPD zur KPD über und wurde 1921 KPD-Unterbezirksleiter in Berlin-Prenzlauer Berg. Peschke war längere Zeit erwerbslos, arbeitete 1925/26 wieder als Schlosser bei Siemens. Von 1925 bis 1929 war er Mitglied der Berliner Stadtverordnetenversammlung. Im Jahr 1925 kam es zur Auseinandersetzung mit Ernst Thälmann, als er sich mit der Mehrheit der Berliner Funktionäre der Fischer-Maslow-Richtung, gegen den „Offenen Brief“ der Komintern an die Mitglieder der KPD wandte. Einige Wochen später schwenkte er jedoch zur Linie des ZK über. Ab Oktober 1926 war er hauptamtlicher Parteifunktionär in der Org.-Abteilung des Zentralkomitees (ZK) der KPD. Und von 1927 bis 1930 Mitarbeiter in der Gewerkschaftsabteilung. Im Jahr 1929 wurde er aus dem DMV ausgeschlossen. Bei der Gründung des Einheitsverbandes der Metallarbeiter Berlins (EMVB) Anfang November 1930 wurde er dessen Vorsitzender, im Januar 1933 legte er auf Grund von Druck aus der KPD-Führung diese Funktion nieder. Gleichzeitig war er zwischen 1929 und 1933 Mitglied der RGO-Reichsleitung und zeitweise in einer Führungsposition in deren Industriegruppe Metall.