Erwägungen:
1.
1.1. A.A._ ist Alleinaktionär der bis Ende 2007 in U._ domizilierten C._ AG (heute D._ AG mit Sitz in V._) und der im Kanton Bern ansässigen E._ AG. Nachdem die Steuerverwaltung des Kantons Zug diverse geldwerte Leistungen der C._ AG an A.A._ gemeldet hatte, leitete die Steuerverwaltung des Kantons Bern am 27. November 2012 ein Straf- und Nachsteuerverfahren für die Kantons- und Gemeindesteuern sowie direkte Bundessteuer betreffend die Steuerperioden 2002 bis 2007 ein. Mit Verfügung vom 21. April 2017 rechnete sie Fr. 434'100.-- als Einkommen auf, darunter geschäftsmässig nicht begründete Auslagen von Fr. 225'335.50, welche die C._ AG der E._ AG für die Miete von Büroräumlichkeiten bezahlt hatte. Dies führte zu Nachsteuern in Höhe von Fr. 156'473.70 (Kantons- und Gemeindesteuern) bzw. Fr. 58'507.25 (direkte Bundessteuer). Das Strafsteuerverfahren wurde dagegen eingestellt.
1.2. Nachdem die Steuerverwaltung die Einsprachen von A.A._ und B.A._ am 29. September 2017 abgewiesen hatte, hiess die Steuerrekurskommission des Kantons Bern die dagegen erhobenen Rechtsmittel am 18. September 2018 teilweise gut. Sie hob die Nachsteuern für die Steuerperiode 2002 wegen Verjährung auf und liess in den Steuerperioden 2003 bis 2005 den Abzug für ein Arbeitszimmer zu. Das Verwaltungsgericht des Kantons Bern hiess die Beschwerden am 7. Mai 2019 insoweit gut, als es die Nachsteuern für die Steuerperiode 2003 wegen Verjährung aufhob. Im Übrigen wies es die Beschwerden ab.
1.3. Mit Beschwerde vom 11. Juni 2019 beantragen A.A._ und B.A._ dem Bundesgericht, die Nachsteuern seien hinsichtlich der aufgerechneten Büromiete aufzuheben. Das Bundesgericht hat die vorinstanzlichen Akten, aber keine Vernehmlassungen eingeholt.
2.
2.1. Gegen das angefochtene Urteil ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig (Art. 82 lit. a BGG i.V.m. Art. 146 DBG [SR 642.11] und Art. 73 Abs. 1 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG; SR 642.14], Art. 86 Abs. 1 lit. d und Abs. 2 BGG). Die Beschwerdeführer sind als Steuerpflichtige zur Erhebung des Rechtsmittels legitimiert (Art. 89 Abs. 1 BGG und Art. 73 Abs. 2 StHG) und die Beschwerde wurde form- und fristgerecht eingereicht (Art. 42 und Art. 100 Abs. 1 BGG).
2.2. Mit der Beschwerde kann namentlich die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG) und legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von Art. 95 BGG (Art. 105 Abs. 2 bzw. Art. 97 Abs. 1 BGG).
2.3. Das Urteil der Vorinstanz wird sowohl in Bezug auf die direkte Bundessteuer als auch die kantonalen Steuern in derselben Rechtsschrift angefochten, was zulässig ist. Das Bundesgericht behandelt die aufgeworfenen Fragen in einem Urteil, da sie auf demselben Sachverhalt beruhen und sich dieselben Rechtsfragen stellen (vgl. Urteil 2C_479/2016 und 2C_480/2016 vom 12. Januar 2017 E. 1.1).
3.
Das Verwaltungsgericht hat die Voraussetzungen der Nachsteuererhebung zutreffend dargelegt, worauf verwiesen wird (vgl. E. 3.1 des angefochtenen Urteils). Streitig sind nicht die allgemeinen Voraussetzungen der Nachbesteuerung der Beschwerdeführer für diverse geldwerte Leistungen in den betroffenen Steuerperioden, sondern ausschliesslich die Aufrechnung der von der C._ AG an die E._ AG bezahlten Miete.
I. Direkte Bundessteuer
4.
4.1. Gemäss Art. 20 Abs. 1 lit. c DBG sind als Ertrag aus beweglichem Vermögen insbesondere Dividenden, Gewinnanteile, Liquidationsüberschüsse und geldwerte Vorteile aus Beteiligungen aller Art steuerbar.
4.1.1. Zu den geldwerten Vorteilen aus Beteiligungen zählen unter anderem auch die sogenannten "verdeckten Gewinnausschüttungen", d.h. Zuwendungen der Gesellschaft an den Anteilsinhaber, denen keine oder keine genügende Gegenleistung gegenübersteht und die einem an der Gesellschaft nicht beteiligten Dritten nicht oder in wesentlich geringerem Umfang erbracht worden wären. Anzustellen ist dazu ein Drittvergleich (sog. Prinzip des "dealing at arm's length"), bei dem alle konkreten Umstände des Einzelfalls zu berücksichtigen sind (BGE 138 II 57 E. 2.2 S. 59 f.).
4.1.2. Gemäss der Dreieckstheorie kann einkommenssteuerrechtlich eine geldwerte Leistung an einen der Gesellschaft nahestehenden Dritten unter Umständen als steuerbare Zuwendung (insbesondere als verdeckte Gewinnausschüttung) an den Aktionär qualifiziert werden. Bei geldwerten Leistungen zwischen Schwestergesellschaften fliesst der Vorteil an sich unmittelbar von einer Schwestergesellschaft zur anderen. Die an den Gesellschaften beteiligten Aktionäre sind mittelbar betroffen, indem der Wert der Beteiligung an der leistenden Gesellschaft abnimmt, während sich der Wert der empfangenden Gesellschaft entsprechend erhöht. Eine solche geldwerte Leistung zwischen Schwestergesellschaften fusst regelmässig auf dem gemeinsamen Beteiligungsverhältnis, weshalb sich Zuwendungen an Schwestergesellschaften als (verdeckte) Gewinnausschüttungen an die Aktionäre einerseits und als (verdeckte) Kapitaleinlagen der Aktionäre an die empfangende Gesellschaft andererseits erweisen. Dabei ist ebenfalls aufgrund eines Drittvergleichs zu untersuchen, ob die zu beurteilende Leistung im Vergleich zu üblichem Geschäftsgebaren derart ungewöhnlich ist, dass der Schluss naheliegt, sie wäre so nicht erbracht worden, wenn der Leistungsempfänger dem Anteilsinhaber nicht nahestehen würde. Der Beteiligungsinhaber ist somit auch für Zuwendungen der Gesellschaft zu besteuern, die einer von ihm beherrschten weiteren Gesellschaft zufliessen, wenn eine geschäftsmässige Begründetheit für ein solches Vorgehen fehlt (BGE 138 II 57 E. 4.2 S. 61 f. mit Hinweisen).
4.2. Das Verwaltungsgericht hat erwogen, dass die am 27. April 2000 ins Handelsregister eingetragene C._ AG bereits per 1. Januar 2000 von der E._ AG drei Büroräume in V._ mit einer Fläche von 96 m2 sowie einen Archivraum und Einstellhallenplätze für jährlich Fr. 36'000.-- bzw. Fr. 40'000.-- gemietet habe. Die E._ AG sei nicht Eigentümerin der Büroräume gewesen, sondern habe diese ihrerseits für jährlich Fr. 18'444.-- gemietet. Im Kanton Zug seien der C._ AG die Mietzinsaufwendungen aufgerechnet worden, weil für die Zuger Behörden nicht ersichtlich gewesen sei, weshalb die C._ AG, die an ihrem Geschäftssitz im Kanton Zug bereits über ein Büro verfügt habe, auf weitere Räume in V._ angewiesen sei. Der Einwand der Beschwerdeführer, mit dem Mietzins werde auch das Zuverfügungstellen der kompletten Büroinfrastruktur abgegolten, sei nicht stichhaltig. Sie hätten keinen Beleg für die zur Verfügung gestellte Infrastruktur eingereicht. Die angeblichen weiteren Gegenleistungen der E._ AG seien aus dem Mietvertrag nicht ersichtlich; ebenso sei unklar, wie hoch der Mietzins für den Archivraum und die Einstellhallenplätze sei. Zudem habe die C._ AG in ihrer Bilanz die Büroeinrichtung als eigene Aktiven aufgeführt und neben dem Mietaufwand auch erhebliche Auslagen für Verwaltung, Informatik und übriger Betriebsaufwand verbucht. Den Beschwerdeführern sei es deshalb nicht gelungen, die Höhe und Zusammensetzung der verbuchten Mietzinsaufwendungen zu erklären.
Was die Notwendigkeit zusätzlicher Büroräume betreffe, so hätten die Beschwerdeführer auf mehrere Zeugenaussagen verwiesen. wonach die Büroräume in V._ tatsächlich genutzt worden seien. Damit sei die geschäftsmässige Begründetheit der Mietzinszahlungen zwischen den Schwesterngesellschaften indessen nicht nachgewiesen worden. In wirtschaftlicher Hinsicht sei für das Anmieten und Weitervermieten der Räumlichkeiten kein vernünftiger Grund ersichtlich. Weiter seien zahlreiche Unstimmigkeiten zum Mietverhältnis ungeklärt geblieben. So habe das Mietverhältnis per 1. Januar 2000 begonnen, obwohl die Räumlichkeiten der E._ AG von der Hauptvermieterin erst ab 1. April 2000 zur Verfügung gestellt worden seien. Zudem sei gemäss Hauptmietvertrag eine Untermiete nicht vorgesehen und die schriftliche Zustimmung der Hauptvermieterin nicht aktenkundig. Es leuchte auch nicht ein, weshalb die Post der C._ AG umgeleitet worden sei und sie in V._ über keinen eigenen Telefonanschluss verfügt habe. Soweit die Beschwerdeführer geltend machten, dass das Büro am Sitz im Kanton Zug kaum genutzt worden sei, lasse dies nicht auf die geschäftsmässige Begründetheit der Miete in V._ schliessen. Die Beschwerdeführer hätten den Nachweis nicht erbracht, dass sie neben dem Arbeitszimmer in der Privatwohnung und dem Büro in U._ noch zwei geräumige Büros, ein Sitzungszimmer und einen Archivraum in V._ benötigt hätten. Der steuerliche Vorteil für die Untermiete liege auf der Hand, indem ein nicht unerheblicher Teil der Erträge der offenbar gewinnbringenden Tätigkeit der C._ AG zur E._ AG habe verschoben werden können, die in den betroffenen Jahren keinen steuerbaren Gewinn erzielt habe. Der wahre Grund für die Untermiete liege somit im Beteiligungsverhältnis und die streitigen Aufrechnungen seien zu Recht erfolgt.
4.3. Was die Beschwerdeführer gegen diese ausführliche Begründung vorbringen, überzeugt nicht.
4.3.1. Der pauschale Verweis auf eine den Steuerbehörden angeblich bekannte umfangreiche Dokumentation, aus der sich nachvollziehbar ergebe, weshalb die C._ AG die Räumlichkeiten gemietet habe, genügt den Begründungsanforderungen nicht. Es ist nicht Aufgabe des Bundesgerichts, in den Akten nach Dokumenten zu suchen, die die Rechtsauffassung der Beschwerdeführer allenfalls stützen. Soweit die Beschwerdeführer behaupten, das Vorgehen betreffend der Untermiete in V._ sei mit den Steuerverwaltungen des Kantons Zug und Bern vorgängig abgesprochen worden, ergibt sich dies nicht aus der Beilage B-6, auf die die Beschwerdeführer verweisen und die im Übrigen vom Treuhänder der Beschwerdeführer verfasst und von der Steuerbehörde nicht gegengezeichnet worden ist. Ebenso genügt der pauschale Hinweis nicht, die bezahlten Mieten für die Räumlichkeiten samt Infrastruktur seien marktkonform gewesen. Das Verwaltungsgericht hat eingehend dargelegt, dass nicht ersichtlich sei, inwieweit die E._ AG auch die Infrastruktur zur Verfügung gestellt habe. Damit setzen sich die Beschwerdeführer nicht auseinander. Nachdem die E._ AG die Büroräume ihrerseits für rund die Hälfte des von der C._ AG bezahlten Mietzinses angemietet hat, kann von einem marktkonformen Mietzins keine Rede sein.
4.3.2. Nicht ersichtlich ist weiter, inwieweit die Notwendigkeit eines Arbeitszimmers in der Privatwohnung der Beschwerdeführer für den vorliegenden Fall relevant ist. Soweit die Beschwerdeführer geltend machen, anhand der schriftlichen Zeugenaussagen in den Akten sei die Nutzung der Räumlichkeiten in V._ für Sitzungen etc. bewiesen worden, übersehen sie, dass sich aus der Nutzung alleine nichts für die geschäftsmässige Begründetheit der Untermiete ableiten lässt. Denn es ist angesichts der von der Vorinstanz dargelegten zahlreichen Ungereimtheiten (vgl. vorne E. 4.2), der tatsächlichen Geschäftstätigkeit des Beschwerdeführers 1 für die C._ AG, die sich zu einem namhaften Teil im Ausland abgespielt hat, sowie des bereits vorhandenen Büros am Sitz in U._ nicht nachvollziehbar, weshalb die Gesellschaft zusätzlich auf Büroräumlichkeiten in diesem Umfang in V._ angewiesen war. Soweit die Beschwerdeführer in diesem Zusammenhang pauschal behaupten, der Sitz in U._ der C._ AG sei eine blosse Domiziladresse gewesen und sie hätten dort über keine Arbeitsplätze verfügt, gelingt es ihnen nicht, die anderslautende Sachverhaltsfeststellung der Vorinstanz als offensichtlich unrichtig anzuzweifeln. Diese Darstellung widerspricht auch der Erklärung der Beschwerdeführer, man habe damals den Standort U._ für die C._ AG aus geografischen Gründen gewählt (S. 5 Ziff. 15 der Beschwerde). Entgegen den Ausführungen in der Beschwerde hat das Verwaltungsgericht auch dargelegt, inwiefern die Beschwerdeführer durch die Untermiete und die damit verbundene Gewinnverschiebung einen geldwerten Vorteil gehabt haben. Schliesslich ist unklar, inwieweit die zahlreichen Vorwürfe an die Steuerverwaltung des Kantons Zug sowie die Überlegungen zur Steuerausscheidung einen Zusammenhang zur hier streitigen Frage aufweisen, ob die Anmiete der Büroräume in V._ durch die C._ AG geschäftsmässig begründet gewesen ist.
4.4. Zusammenfassend ist festzuhalten, dass die Beschwerdeführer - soweit sie sich überhaupt mit dem angefochtenen Entscheid auseinandersetzen - die von der Vorinstanz angeführten Indizien nicht entkräften können. Eine plausible Erklärung für die Untermiete der Büroräumlichkeiten der E._ AG an die C._ AG, die nicht im Beteiligungsverhältnis zum Zwecke der Gewinnverschiebung liegt, ist nicht ersichtlich. Die Berner Steuerbehörden haben den Mietzins deshalb zu Recht als geldwerte Leistung im Rahmen der Nachbesteuerung bei den Beschwerdeführern aufgerechnet.
II. Kantons- und Gemeindesteuern
5.
Die massgeblichen kantonalen Bestimmungen (Art. 24 Abs. 1 lit. c des Steuergesetzes des Kantons Bern vom 21. Mai 2000 [BSG 661.11]) stimmen mit denjenigen bei der direkten Bundessteuer (Art. 20 Abs. 1 lit. c DBG) überein. Folglich kann auf die vorstehenden Ausführungen verwiesen werden. Auch bei den Kantons- und Gemeindesteuern erweist sich die Aufrechnung des Mietzinses im Rahmen der Nachbesteuerung als rechtmässig.
6.
Die Beschwerde ist offensichtlich unbegründet und im vereinfachten Verfahren abzuweisen (Art. 109 Abs. 2 lit. a und Abs. 3 BGG). Die Gerichtskosten sind den Beschwerdeführern aufzuerlegen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird in Bezug auf die direkte Bundessteuer 2004 bis 2007 abgewiesen.
2.
Die Beschwerde wird in Bezug auf die Kantons- und Gemeindesteuern 2004 bis 2007 abgewiesen.
3.
Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
4.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Bern und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 30. Oktober 2019
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Businger