Hirayama war der einzige Sohn eines Schiffbauers. Er wuchs in Sendai auf, wo er Klassisches Chinesisch, Fremdsprachen und Allgemeinwissenschaften erlernte. Ab 1894 besuchte er die kaiserliche Universität Tokio. Nach seinem Abschluss im Jahr 1897 im Hauptfach Astronomie arbeitete er am Tokyo Astronomical Observatory, welches der Universität angegliedert war. Seine Hauptaufgabe war die Gewinnung Geodätischer Daten aus der Bestimmung von Längen- und Breitengraden durch astronomische Beobachtungen. Zu diesem Thema machte er mehrere Veröffentlichungen in den Astronomischen Nachrichten. 1906 wurde er auf die besetzte Insel Sachalin geschickt, um den 50. Breitengrad nach Ende des Russisch-Japanischen Krieges (1904–1905) als Grenze genau zu bestimmen. Nach seiner Rückkehr wurde er 1906 zum wissenschaftlichen Assistenten befördert. Zu seinen Aufgaben gehörte auch die Berechnung der Ephemeriden von Planeten und des Mondes.