Ein mögliches Gegenargument gegen die Schlussfolgerung, dass höhere versteckte Schichten Informationen für die Phonemerkennerung unterdrücken, könnte darin bestehen, dass die Unterdrückung bestimmter Informationen in den höheren Schichten nicht unbedingt als Negativbewertung angesehen werden sollte. Es könnte argumentiert werden, dass die höheren Schichten dazu dienen, irrelevante oder störende Informationen zu filtern, um die Fokussierung auf die relevanten Merkmale zu verbessern und somit die Gesamtleistung des Modells zu steigern.
Ein weiteres Gegenargument könnte darauf hinweisen, dass die Unterdrückung von Informationen in den höheren Schichten nicht zwangsläufig bedeutet, dass diese Informationen vollständig verloren gehen. Vielmehr könnten sie in einer komprimierten oder abstrakteren Form weiterhin präsent sein und bei Bedarf reaktiviert werden, um spezifische Aufgaben zu bewältigen.