Sachverhalt:
A.
Die Staatsanwaltschaft des Kantons Solothurn verurteilte A._ mit Strafbefehl vom 22. April 2020 wegen Unterlassen der Richtungsanzeige, Fahren ohne Licht tagsüber und Vornahme einer Verrichtung (ohne Schwenker oder Schwenker innerhalb der Spur und ohne Gefährdung anderer Verkehrsteilnehmer), begangen am 1. April 2020 um 11:38 Uhr in Subingen. Sie auferlegte ihm eine Busse von Fr. 360.--. Dieser Strafbefehl erwuchs unangefochten in Rechtskraft.
Mit Verfügung vom 15. Mai 2020 annullierte die Motorfahrzeugkontrolle des Kantons Solothurn A._s Führerausweis auf Probe. Zur Begründung führte sie aus, A._ habe während der Fahrt sein Mobiltelefon bedient, was eine leichte Widerhandlung gegen die Strassenverkehrsvorschriften darstelle. Da ihm am 28. Februar 2020 der Führerausweis für einen Monat entzogen worden sei, verfalle er nun.
Eine von A._ gegen diese Verfügung erhobene Beschwerde wies das Verwaltungsgericht des Kantons Solothurn mit Urteil vom 7. Juli 2020 ab.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht vom 7. September 2020 beantragt A._, das Urteil des Verwaltungsgerichts sei aufzuheben.
Das Verwaltungsgericht beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Das Bau- und Justizdepartement des Kantons Solothurn und das ebenfalls zur Stellungnahme eingeladene Bundesamt für Strassen schliessen auf Abweisung der Beschwerde.

Erwägungen:
1.
Angefochten ist ein kantonal letztinstanzlicher Endentscheid über den Verfall des Führerausweises auf Probe. Es handelt sich dabei um eine Administrativmassnahme, weshalb dagegen die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach <ref-law> offensteht. Die weiteren Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist einzutreten.
2.
Gemäss <ref-law> verfällt der Führerausweis auf Probe mit der zweiten Widerhandlung, die zum Entzug des Ausweises führt. Der Beschwerdeführer wurde am 23. Dezember 2019 wegen einer leichten Widerhandlung verwarnt und am 28. Februar 2020 wurde ihm der Führerausweis wegen einer mittelschweren Widerhandlung für die Dauer eines Monats entzogen. Da das Verwaltungsgericht die hier zur Diskussion stehende Widerhandlung vom 1. April 2020 als leichte Widerhandlung einstufte, hielt sie fest, dass damit gestützt auf <ref-law> bereits zum zweiten Mal ein Ausweisentzug erfolge. Nach dieser Bestimmung wird nach einer leichten Widerhandlung der Lernfahr- oder Führerausweis für mindestens einen Monat entzogen, wenn in den vorangegangenen zwei Jahren der Ausweis entzogen war oder eine andere Administrativmassnahme verfügt wurde. Der Beschwerdeführer ist dagegen der Auffassung, dass es sich um einen besonders leichten Fall handle, weshalb gemäss <ref-law> auf jegliche Massnahme zu verzichten sei. Damit seien auch die Voraussetzungen für den Verfall des Führerausweises auf Probe nicht gegeben.
3.
3.1. Das Verwaltungsgericht führt aus, gemäss dem Polizeirapport habe der Beschwerdeführer ein Mobiltelefon in der rechten Hand auf der Höhe des Lenkrads gehalten. Während ca. drei Sekunden habe man laut Rapport sehen können, wie er seinen Blick auf das Mobiltelefon gerichtet und mit dem Finger der rechten Hand darauf gedrückt habe. Er sei somit während ca. drei Sekunden vom Strassenverkehr abgelenkt gewesen. Gemäss seinen eigenen Aussagen habe er die Musik gewechselt. Es habe jedoch kein zwingender Grund bestanden, die Aufmerksamkeit für eine derart lange Zeitdauer vom Verkehrsgeschehen abzuwenden. Das Vorschalten eines Lieds auf dem Mobiltelefon, erst recht mittels der vom Beschwerdeführer geschilderten Funktion im Sperrbildschirm, dürfte lediglich einen Sekundenbruchteil in Anspruch genommen haben. Er habe sich jedoch weit länger als hierfür notwendig mit seinem Mobiltelefon beschäftigt. Der Fall wäre auch nicht anders zu beurteilen, wenn sich der Beschwerdeführer während dreier Sekunden dem direkt im Auto montierten Multimediasystem gewidmet hätte. Im fraglichen Zeitraum von drei Sekunden habe er bei den gefahrenen 50 km/h eine Strecke von rund 40 Metern zurückgelegt. Der Vorfall habe sich um 11:37 Uhr auf einer lnnerortsstrecke bei schönem Wetter und normalem Verkehrsaufkommen ereignet. Während der Beschwerdeführer sich mit seinem Mobiltelefon beschäftigte, habe er auf das Verkehrsgeschehen nicht angemessen reagieren können. Die Reaktionszeit sei herabgesetzt gewesen. Es habe namentlich die Gefahr bestanden, Fussgänger auf dem Fussgängerstreifen oder Bremsmanöver vorausfahrender Fahrzeuge zu übersehen und in der Folge nicht mehr rechtzeitig bremsen zu können. Es liege eine Verletzung von <ref-law> und Art. 3 Abs. 1 VRV (SR 741.11) vor. Das Verschulden und die Gefährdung könnten zudem nicht als derart leicht bezeichnet werden, dass in Anwendung von <ref-law> auf eine Massnahme zu verzichten wäre.
3.2. Der Beschwerdeführer rügt zunächst eine Verletzung der Begründungspflicht (<ref-law>). Er kritisiert, dass sich das Verwaltungsgericht nur in einem einzigen Satz zur Frage geäussert habe, ob ein besonders leichter Fall vorliege. Dies ist unzutreffend. Wie aus den soeben wiedergegebenen Erwägungen des Verwaltungsgerichts hervorgeht, legte es detailliert dar, weshalb es von einer leichten Widerhandlung, aber eben nicht von einem besonders leichten Fall ausgeht. Die Ausführungen erlaubten es dem Beschwerdeführer, den angefochtenen Entscheid sachgerecht anzufechten. Eine Verletzung der Begründungspflicht ist zu verneinen (vgl. <ref-ruling> E. 5.2 S. 70 f. mit Hinweisen).
3.3. Weiter rügt der Beschwerdeführer eine offensichtlich unrichtige Feststellung des Sachverhalts (<ref-law>). Das Verwaltungsgericht gehe davon aus, dass er den Blick während der drei Sekunden, in denen er das Mobiltelefon in der Hand gehalten habe, ganz vom Verkehrsgeschehen gelöst habe. Selbst wenn sein Blick für drei Sekunden dem Display gegolten habe, sei damit sein Gesichtsfeld und die freie Bewegung des Kopfes nicht mehr eingeschränkt gewesen, als dies beim Blick auf den Tacho der Fall gewesen wäre. Zudem habe gemäss der Beobachtung der Polizei zu keiner Zeit eine Verkehrsgefährdung bestanden. Eine abstrakte Gefährdung könne insoweit nicht ausreichen, denn sie sei dem Fahrzeuglenken immanent.
Die Feststellung der Vorinstanz, wonach der Beschwerdeführer seinen Blick während ca. drei Sekunden auf sein Mobiltelefon gerichtet und damit die Aufmerksamkeit vom Verkehrsgeschehen abgewendet hatte, erscheint weder als als offensichtlich falsch noch auch nur als in Widerspruch zur Darstellung des Beschwerdeführers. Denn dass das Gesichtsfeld des Beschwerdeführers eingeschränkt gewesen wäre, schreibt das Verwaltungsgericht nicht. Und ebensowenig bestreitet der Beschwerdeführer, dass er während der fraglichen Zeit von ca. drei Sekunden auf das Mobiltelefon und nicht auf den Verkehr schaute.
Hinsichtlich der beanstandeten Feststellung einer Verkehrsgefährdung ist aufgrund der von der Vorinstanz gewählten Worte davon auszugehen, dass sie sich auf eine abstrakte Gefährdung bezieht. So legt sie dar, welche Folgen das Verhalten (die Unaufmerksamkeit) des Beschwerdeführers typischerweise hätte haben können. Wenn dagegen im Strafbefehl festgehalten wird, es habe keine Gefährdung anderer Verkehrsteilnehmer bestanden, ist dagegen offensichtlich eine konkrete Gefahr gemeint. <ref-law> ist ein abstraktes Gefährdungsdelikt, es wäre mithin widersprüchlich, wenn die Staatsanwaltschaft den Beschwerdeführer gestützt darauf verurteilt und gleichzeitig selbst eine bloss abstrakte Gefährdung ausgeschlossen hätte (vgl. Urteil 6B_965/2010 vom 17. Mai 2011 E. 3.2 mit Hinweisen, in: JdT 2011 I S. 316; GERHARD FIOLKA, in: Basler Kommentar, Strassenverkehrsgesetz, 2014, N. 47 zu <ref-law>). Die Rüge der offensichtlich unrichtigen Sachverhaltsfeststellung ist deshalb auch insoweit unbegründet. Ob eine abstrakte Gefährdung ausreicht, ist schliesslich eine Frage, die nicht den Sachverhalt betrifft, sondern die Rechtsanwendung.
4.
4.1. Nach <ref-law> muss der Führer das Fahrzeug ständig so beherrschen, dass er seinen Vorsichtspflichten nachkommen kann. Er muss gemäss Art. 3 Abs. 1 VRV seine Aufmerksamkeit der Strasse und dem Verkehr zuwenden (Satz 1). Das Mass dieser Aufmerksamkeit richtet sich nach den gesamten konkreten Umständen, namentlich der Verkehrsdichte, den örtlichen Verhältnissen, der Zeit, der Sicht und den voraussehbaren Gefahrenquellen (<ref-ruling> E. 3.6 S. 295 mit Hinweis). Der Fahrzeugführer darf zudem beim Fahren keine Verrichtung vornehmen, welche die Bedienung des Fahrzeugs erschwert (Art. 3 Abs. 1 Satz 2 VRV). Er muss das Lenkrad mindestens mit der einen Hand halten (vgl. Art. 3 Abs. 3 VRV in der hier anwendbaren, bis am 31. Dezember 2020 gültigen Fassung) und hat so die andere, wenn sie nicht zum Lenken gebraucht wird, für Handgriffe wie die Betätigung der Warnsignale, der Richtungsanzeiger, gegebenenfalls des Schalthebels, der Scheibenwischer, des Lichtschalters und dergleichen zur Verfügung. Ob eine Verrichtung das Lenken oder einen dieser Handgriffe erschwert bzw. verunmöglicht, hängt grundsätzlich von der Art der Verrichtung, dem Fahrzeug und der Verkehrssituation ab. Dauert eine solche Verrichtung nur sehr kurz und muss dabei weder der Blick vom Verkehr abgewendet noch die Körperhaltung geändert werden, so kann eine Erschwerung der Fahrzeugbedienung in der Regel verneint werden. Ist die Verrichtung jedoch von längerer Dauer oder erschwert sie in anderer Weise die nötigenfalls sofortige Verfügbarkeit der sich nicht am Lenkrad befindlichen Hand, so ist die Fahrzeugbedienung in unzulässiger Weise behindert (<ref-ruling> E. 2d S. 66).
4.2. In seiner Rechtsprechung zu <ref-law> und Art. 3 VRV hat das Bundesgericht etwa festgehalten, dass ein Fahrer, wenn es die Verkehrssituation erlaubt, zum Ablesen der Geschwindigkeit oder der Treibstoffreserve kurz auf das Armaturenbrett blicken darf, ohne dass ihm eine ungenügende Aufmerksamkeit zur Last gelegt werden könnte (Urteil 1C_183/2016 vom 22. September 2016 E. 2.1 mit Hinweisen). Gleiches gilt bei einem Fahrzeugführer, der in Phasen des Stillstands seines Fahrzeugs im Stau eine Zeitung liest und diese in den Phasen des Aufrückens um einige Meter im Schritttempo teils auf seinen Oberschenkeln, teils am Lenkrad aufgestützt lässt (Urteil 6P.68/2006 vom 6. September 2006 E. 3.3). Auch liegt keine die Fahrzeugbedienung erschwerende Verrichtung vor, wenn ein Fahrzeugführer sein Mobiltelefon auf der Autobahn bei einer Geschwindigkeit von 80 bis 100 km/h im Kurvenbereich bei regem Verkehrsaufkommen ununterbrochen während 15 Sekunden in der linken Hand hält, ohne dabei jedoch den Blick von der Strasse abzuwenden und ohne zu telefonieren oder andere Manipulationen am Mobiltelefon vorzunehmen (Urteil 6B_1183/2014 vom 27. Oktober 2015 E. 1.5 und 1.6).
Dagegen widmet ein Fahrer dem Verkehr nicht die erforderliche Aufmerksamkeit, wenn er während der Fahrt seinen Blick zum Schreiben einer Nachricht (SMS) länger auf sein Mobiltelefon richtet (Urteil 6B_666/2009 vom 24. September 2009 E. 1.3 f.); auf dem Lenkrad ein Papier beschreibt und den Blick zeitweise von der Strasse abwendet (Urteil 1C_566/2018 vom 14. Mai 2019 E. 2.5: mittelschwere Widerhandlung gemäss <ref-law> bejaht); ein Blatt Papier auf der Höhe der Mittelkonsole vor sich hält und seinen Blick während ca. sieben Sekunden ununterbrochen darauf richtet (Urteil 1C_422/2016 vom 9. Januar 2017 E. 3.3); ein Navigationsgerät länger als nur wenige Sekunden in der Hand auf der Höhe des Lenkrads hält und den Blick darauf richtet (Urteil 1C_183/2016 vom 22. September 2016 E. 2.6); ein Lasermessgerät aus der Halterung am Gürtel nimmt, dieses während rund drei Sekunden bedient und während dieser Zeitspanne darauf schaut, um es in der Folge wieder in die Halterung zu stecken (Urteil 1B_1423/2017 vom 9. Mai 2018 E. 3); mit der rechten Hand ein Mobilgerät bedient und die linke im Bereich des Kopfs hält (Urteil 6B_894/2016 vom 14. März 2017 E. 3.3). Zudem nimmt ein Fahrzeugführer eine Verrichtung vor, welche die Fahrzeugbedienung im Sinne von Art. 3 Abs. 1 VRV in unzulässiger Weise erschwert, wenn er während der Fahrt telefoniert und dazu länger als einen kurzen Augenblick das Telefongerät mit der einen Hand hält oder es zwischen Kopf und Schulter einklemmt (<ref-ruling> E. 2d und e S. 66 f.). Entsprechend wird das Verwenden eines Telefons ohne Freisprecheinrichtung während der Fahrt nach Anhang 1 Nr. 311 der Ordnungsbussenverordnung vom 16. Januar 2019 (OBV; SR 314.11) mit einer Busse von Fr. 100.-- bestraft.
4.3. Im vorliegenden Fall hielt der Beschwerdeführer ein Mobiltelefon während der Fahrt auf der Höhe des Lenkrads in der rechten Hand, um die Musik zu wechseln. Dafür blickte er während drei Sekunden auf das Display. Vor dem Hintergrund der aufgeführten Rechtsprechung hat er es damit an der erforderlichen Aufmerksamkeit im Strassenverkehr fehlen lassen und <ref-law> sowie Art. 3 Abs. 1 VRV verletzt. Der Fall ist in den wesentlichen Punkten vergleichbar mit dem Sachverhalt im erwähnten Urteil 1B_1423/2017 vom 9. Mai 2018, wo der Beschwerdeführer ebenfalls während rund drei Sekunden ein Gerät bediente und während dieser Zeitspanne darauf schaute.
4.4. Fraglich erscheint einzig, ob unter den konkreten Umständen von einem besonders leichten Fall im Sinne von <ref-law> auszugehen ist. Ein solcher liegt nach der Rechtsprechung vor, wenn die Verletzung von Verkehrsregeln eine besonders geringe Gefahr für die Sicherheit anderer geschaffen hat und den fehlbaren Fahrzeuglenker dafür nur ein besonders leichtes Verschulden trifft. Die Auslegung des "besonders leichten Falles" im Sinne dieser Bestimmung kann sich an den Verkehrsregelverletzungen orientieren, die nach dem Ordnungsbussengesetz erledigt werden und keine Administrativmassnahmen nach sich ziehen (zum Ganzen: Urteil 1C_183/2016 vom 22. September 2016 E. 3.1 mit Hinweisen).
4.5. Der Beschwerdeführer bringt dazu vor, das Telefonieren ohne Freisprechanlage sei eine Ordnungswidrigkeit. Jedoch müsse dazu zunächst das Telefon entsperrt, eine Nummer eingegeben oder ein Kontakt gewählt werden. Diese Verrichtungen seien wesentlich komplexer als das hier zu beurteilende Wechseln der Musik auf einem Mobiltelefon, bei dem die entsprechende Funktion im Sperrmodus automatisch aufleuchte und zur Verfügung stehe. Mit dieser Argumentation übersieht er, dass zwar das Verwenden eines Telefons ohne Freisprecheinrichtung während der Fahrt einen Übertretungstatbestand darstellt, der im Ordnungsbussenverfahren geahndet werden kann (s. E. 4.2 hiervor), davon jedoch nicht automatisch die zur Herstellung einer Telefonverbindung erforderlichen Manipulationen am Gerät erfasst werden. Werden diese (ev. umständlichen) Manipulationen während der Fahrt vorgenommen, kann dies je nach den konkreten Verhältnissen eine leichte, mittelschwere oder gar schwere Widerhandlung gegen die Strassenverkehrsvorschriften darstellen.
Auch eine Berücksichtigung der weiteren Gegebenheiten des konkreten Falls rechtfertigt zudem nicht, einen besonders leichten Fall anzunehmen und damit auf jegliche Massnahmen zu verzichten. Zwar ist die in Frage stehende Zeitdauer von ca. drei Sekunden relativ kurz und erlaubte dem Beschwerdeführer das Halten des Mobiltelefons auf der Höhe des Lenkrads, den Verkehr im Gesichtsfeld zu behalten, doch fokussierte er seinen Blick und seine Aufmerksamkeit eben nicht auf diesen, sondern auf das Mobiltelefon. Nach den Sachverhaltsfeststellungen der Vorinstanz legte er auf diese Weise innerorts immerhin eine Strecke von 40 m zurück, ohne auf das Verkehrsgeschehen angemessen reagieren zu können. Dazu trug auch bei, dass er gleichzeitig nur mit einer Hand das Steuerrad hielt.
Insgesamt verletzte das Verwaltungsgericht deshalb kein Bundesrecht, wenn es annahm, die Gefahr für die Sicherheit anderer sei nicht besonders gering gewesen und das Verschulden nicht besonders leicht. Aufgrund der früheren Widerhandlungen des Beschwerdeführers ging es deshalb auch zu Recht davon aus, dass damit die Voraussetzungen für den Verfall des Führerausweises auf Probe erfüllt seien.
5.
Die Beschwerde ist aus diesen Gründen abzuweisen.
Bei diesem Verfahrensausgang wird der Beschwerdeführer kostenpflichtig (<ref-law>). Eine Parteientschädigung ist nicht zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, dem Bau- und Justizdepartement des Kantons Solothurn, dem Verwaltungsgericht des Kantons Solothurn und dem Bundesamt für Strassen Sekretariat Administrativmassnahmen schriftlich mitgeteilt.
Lausanne, 8. Februar 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Dold