Sachverhalt: A. Nachdem das Elektrizitätswerk B._ (Netzbetreiberin) dem Eidgenössischen Starkstrominspektorat (ESTI) mitgeteilt hat, dass A._ die in seiner Liegenschaft am U._-Weg in der Stadt B._ festgestellten Mängel an den elektrischen Niederspannungsinstallationen trotz mehrfacher Mahnung nicht behoben habe, verpflichtete das ESTI A._ schliesslich mit Verfügung vom 13. Mai 2009 dazu, die Mängel zu beseitigen und dem Elektrizitätswerk B._ entweder die Mängelbehebungsanzeige oder den Sicherheitsnachweis einzureichen. Diese Verfügung erwuchs zufolge nicht rechtzeitiger Beschwerde in Rechtskraft (vgl. Urteil 2C_725/2009 vom 27. April 2010). Mit Schreiben vom 14. Juli 2010 drohte das ESTI A._ unter Hinweis auf die Verfügung vom 13. Mai 2009 die Ersatzvornahme an und am 22. November 2012 forderte es A._ erneut zur Mängelbehebung bis spätestens am 3. Januar 2013 auf. Am 5. März 2013 erliess das ESTI schliesslich die zuvor angedrohte, kostenpflichtige Vollstreckungsverfügung, gemäss welcher sämtliche im Kontrollbericht ausgewiesenen Mängel nun auf Kosten von A._ behoben würden. B. Gegen diese Vollstreckungsverfügung beschwerte sich A._ beim Bundesverwaltungsgericht. Dieses hiess die Beschwerde mit Urteil vom 26. September 2013 teilweise gut, da aufgrund von neu beigebrachten Unterlagen von A._ feststehe, dass ein Teil der beanstandeten Mängel behoben worden seien. Im Übrigen wies das Bundesverwaltungsgericht die Beschwerde ab. C. Mit Eingabe vom 13. November 2013 führt A._ Beschwerde beim Bundesgericht. Er beantragt im Wesentlichen die Aufhebung des angefochtenen Entscheids und die Rückweisung an die Vorinstanz. Eventualiter seien seine bei der Vorinstanz gestellten Anträge direkt gutzuheissen. Subeventualiter sei die ihm von der Vorinstanz zugesprochene Parteientschädigung zu erhöhen und die ihm vom Bundesverwaltungsgericht und vom ESTI auferlegten Verfahrenskosten herabzusetzen. Das Bundesverwaltungsgericht, das ESTI sowie das Bundesamt für Energie (BFE) verzichten auf eine Vernehmlassung.