A.- Nach Durchführung des Vorbescheidverfahrens (24. April 1997) sprach die IV-Stelle Schwyz mit Verfügung vom 24. Dezember 1998 T._ rückwirkend ab 1. Mai 1996 eine einfache halbe Invalidenrente zu, welche durch die Ausgleichskasse des Kantons Zürich auszuzahlen ist. Die Winterthur Versicherungen (als Rechtsnachfolgerin der Neuenburger Versicherungen) stellten am 14. Dezember 1998 einen Verrechnungsantrag für die Rentennachzahlung in der Höhe von Fr. 14'088.-. In einer weiteren Verfügung vom 13. August 1999 wies die IV-Stelle Schwyz dieses Verrechnungsbegehren ab. B.- Mit Entscheid vom 17. November 1999 hiess das Verwaltungsgericht des Kantons Schwyz die von den Winterthur Versicherungen hiegegen erhobene Beschwerde gut und bewilligte die Verrechnung für den gesamten Betrag. C.- Mit Verwaltungsgerichtsbeschwerde beantragt das Bundesamt für Sozialversicherung (BSV) die Aufhebung des kantonalen Entscheids. Die Ausgleichskasse des Kantons Zürich verzichtet auf eine Stellungnahme, die IV-Stelle Schwyz beantragt Abweisung (recte ebenfalls: Gutheissung) der Verwaltungsgerichtsbeschwerde. Das Verwaltungsgericht des Kantons Schwyz schliesst auf teilweise Gutheissung der Verwaltungsgerichtsbeschwerde und Reduktion der Verrechnung auf Fr. 3456.-, die Winterthur Versicherungen auf Abweisung, eventuell Reduktion der Verrechnung auf Fr. 9761.-. T._ hat sich nicht geäussert.