A.- X._, der als selbstständigerwerbender Schreiner/Gärtner tätig ist und daneben den Haushalt führt, musste sich am 1. Juli 1997 einer Diskushernienoperation unterziehen. Wegen seines Rückenleidens meldete er sich am 2. Juni 1998 bei der Invalidenversicherung zum Rentenbezug an. Nach Einholen eines Arztberichts der Frau Dr. med. U._ vom 14. Oktober 1998, eines Abklärungsberichts Haushalt vom 27. November 1998, der Akten der Ausgleichskasse und von Steuerunterlagen ermittelte die IV-Stelle des Kantons Appenzell Innerrhoden einen Invaliditätsgrad von 4,2 % und lehnte das Rentengesuch mit Verfügung vom 23. April 1999 ab. B.- Die hiegegen erhobene Beschwerde wies das Kantonsgericht Appenzell Innerrhoden mit Entscheid vom 21. September 1999 ab. C.- X._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei ihm ab 1. Mai 1998 eine ganze Invalidenrente zuzusprechen. Eventuell seien die Akten zur Neufestlegung der Rente an die Vorinstanz zurückzuweisen. Das kantonale Gericht nimmt zur Befangenheit eines seines Mitglieds Stellung. Die IV-Stelle und das Bundesamt für Sozialversicherung verzichten auf eine Vernehmlassung.