A.- Der selbstständig erwerbstätige Landwirt W._, geboren 1952, und im Nebenerwerb als Abwart der Kirche X._ tätig, meldete sich am 28. Mai 1999 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Solothurn holte eine Arbeitgeberauskunft vom 21. Juni 1999, einen Bericht des Dr. med. M._, Spezialarzt FMH für Innere Medizin, speziell Rheumaerkrankungen, vom 13. August 1999 sowie einen Abklärungsbericht Landwirtschaft vom 8. Mai 2000 ein. Nach erfolgtem Vorbescheidverfahren lehnte die IV-Stelle mit Verfügung vom 20. Juni 2000 den Rentenanspruch ab, da nur ein Invaliditätsgrad von 5 % vorliege. B.- Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 5. März 2001 ab, da W._ ein Berufswechsel zumutbar sei und der so bemessene Invaliditätsgrad nur 30 % betrage. C.- W._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides und der Verwaltungsverfügung sei die Sache an die IV-Stelle zurückzuweisen, damit diese ein ärztliches Gutachten einhole und anschliessend neu verfüge. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.