A.- Der selbstständigerwerbende Landwirt F._, Vater vier minderjähriger Kinder, bezog in der Zeit vom 1. April 1994 bis 31. März 1996 Familienzulagen für Kleinbauern in der Höhe von Fr. 14 160. -. Mit Verfügung vom 12. Mai 1997 nahm die Ausgleichskasse Luzern für diese Periode eine Neuberechnung vor und setzte die Höhe der Familienzulagen wegen Überschreitens der Einkommensgrenze auf einen Drittel herab. Ferner ermittelte sie den Anspruch für den Zeitraum vom 1. April 1996 bis 31. März 1997, verrechnete diesen mit den bereits in der früheren Periode ausgerichteten Zahlungen und forderte von F._ den Betrag von Fr. 1872. - zurück. B.- Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Luzern mit Entscheid vom 31. März 1999 ab. C.- F._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag, in Aufhebung des kantonalen Gerichtsentscheides sei ihm "nach Massgabe der Anspruch auf Kinderzulagen auszuzahlen". Ausgleichskasse Luzern und Bundesamt für Sozialversicherung (BSV) schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde. D.- Das Eidgenössische Versicherungsgericht und die II. Öffentlichrechtliche Abteilung des Schweizerischen Bundesgerichts haben einen Meinungsaustausch geführt über die Frage, ob Baukreditzinsen nach Bauvollendung, unabhängig von einer erst späteren Konsolidierung des Baukredites, als abzugsfähige Schuldzinsen zu betrachten sind. E.- Am 23. November 2000 hat das Eidgenössische Versicherungsgericht eine parteiöffentliche Verhandlung durchgeführt. Im Anschluss daran wurde die strittige Rechtsfrage dem Gesamtgericht unterbreitet.