Nach dem Wahlsieg bei den Unterhauswahlen am 28. Februar 1974 wurde Silkin zum Minister für Planung und Kommunalverwaltung "(Minister for Planning and Local Government)" ernannt und gehörte dem zweiten Kabinett von Premierminister Wilson vom 18. Oktober 1974 bis zum Ende von Wilsons Amtszeit am 5. April 1976 auch formell als Kabinettsminister an. Im Zuge des EWG-Mitgliedschaftsreferendums im Vereinigten Königreich am 5. Juni 1975 sprach er sich von den 23 Kabinettsmitgliedern mit sechs weiteren Ministern (Michael Foot, Tony Benn, Peter Shore, Barbara Castle, Eric Varley und William Ross) gegen die weitere Mitgliedschaft in der Europäischen Wirtschaftsgemeinschaft (EWG) aus. Das Amt als Minister für Planung und Kommunalverwaltung bekleidete er zwischen dem 8. April 1976 und dem 10. September 1976 auch in der darauf folgenden Regierung von Premierminister James Callaghan. Als Parlamentarischer Privatsekretär diente ihm Bruce Grocott.