高い性能を求められるスーパーコンピュータ向けアプリケーションでは、ベクトルプロセッサのベクトル演算命令やSIMDなどの並列演算命令を活用し、並列度を高めることで性能向上を図っている。具体的な手法として、最適化コンパイラが並列実行可能な箇所を発見し自動並列化を行うベクトル化や、プロセッサの並列演算命令をプログラミング言語の拡張機能やアセンブラを使い、プログラム内で明示的に呼び出す方法などがある。2013年現在主流であるコンピュータ・クラスター型のスーパーコンピュータでは、MPIを用いて、プログラマがプロセス間の通信や同期をプログラムに記述することで大規模な並列計算を行う方法が一般的である。スーパーコンピュータ向けベンチマークLINPACKの一実装であるHPLや、遺伝子の相同性検索を行うBLASTなど多くの科学技術計算アプリケーションでは、MPIを用いた並列化に対応している。
科学技術計算分野ではFortranが古くから使われ、コンパイラ最適化技術が成熟していることやアプリケーション・数値演算ライブラリなどのソフトウェア資産の蓄積が大きいことから2017年現在でも利用される。実行効率と開発効率の面から、C言語およびC++もよく用いられる。開発効率の改善とハードウェアの並列度向上に対応するため、新たなプログラミング言語が提案されている。サン・マイクロシステムズは、2007年1月に科学技術計算向けプログラミング言語Fortressを発表し、オープンソースとして公開している。他にもＩＢＭ社のX10などいろいろな提案がある。
スーパーコンピュータの性能を引き出すためには、それが持つハードウェアの特性に合わせてアプリケーションを開発する必要がある。スーパーコンピュータ向けアプリケーションの開発で利用される技術・手法を以下に示す。
1970年代前半のCrayによるスーパーコンピュータ黎明期から、オペレーティングシステムにはUNIXおよびLinuxなどのUnix系が広く使用されている。この理由には、当初はライセンスフリーなオープンソース的なOSであったこと、主にC言語で書かれており機種間の移植が容易なこと、大学や研究所で広く使われており科学技術計算用のライブラリやツールが充実していること、などが挙げられる。2000年頃よりUnix系であるLinuxの比率が急増し、2009年では約9割である。なお、x86プロセッサの急激な価格性能比の向上を踏まえ、マイクロソフト社はWindows Serverをベースとしたスーパーコンピュータ向けOSWindows Compute Cluster Server（WCCS）を2006年6月にリリースした。採用例には東京工業大学がある。2008年9月には後継製品としてWindows HPC Server 2008を発表し、これを採用した上海超級計算中心のスーパーコンピュータが2008年のTOP500で11位に躍り出るもこれがWindowsマシンでは最高の成績であり、2015年11月時点でゼロにまで減っており、OSは依然としてUnix系が大多数である。
スーパーコンピュータにおけるインターコネクトでは、そのトポロジも性能に大きい影響を与える。よく用いられるネットワークトポロジとしては、メッシュ、クロスバー、トーラスなどがある。構築にかかるコストやアプリケーションの性質によって、システムに適切なネットワークトポロジは大きく異なる。
旧来のスーパーコンピュータの多くでは独自のインターコネクト方式を採用しており、2007年 CrayはRapidArrayと呼ばれる独自方式を自社のシステムに採用している。コンピュータ・クラスターでは、イーサネットやInfiniBand、Myrinetなど、最大数十Gbps程度の帯域を持つインターコネクトが利用されている。研究レベルにおける通信速度は、2005年11月にIBMの研究所による14GB/chが最高速であったが、2006年3月、NECおよび理化学研究所による次世代HPC構想の研究にて25GB/chが記録されている。
スーパーコンピュータはノードと呼ばれる計算機の集合によって構成され、その計算機はコンピュータネットワークによって接続される。そのノード間を結ぶコンピュータネットワークのことを特にインターコネクトと呼ぶ。超並列マシンでは、ユーザの実行させたい処理を各ノードに分割して実行し、MPI等のAPIを使ったノード間通信で同期や計算結果の集約などを行う。そのため、高い性能を得るには広帯域かつ低遅延なインターコネクトが必要とされる。
広島県師範学校（広島大学教育学部の前身）卒業。広島県内で小学校教員を務めた後上京。当時はまだ新奇な学問であった統計学の存在を知り、表記学社（1878年スタチスチック社、1892年統計学社と改名、1944年東京統計協会と合併し日本統計協会と改称）が1883年、杉亨二や岩崎弥太郎、渋沢栄一、世良太一らの尽力で設立した日本で最初で最後の統計専門学校「共立統計学校」の第一期生として入学。3年間、杉亨二の弟子として本格的に統計学を学ぶ。「共立統計学校」は横山ら第一期生を輩出して1886年、僅か3年で廃校となった。卒業後、表記学社及び後進会社・協会の常任委員・評議員・幹事を務め、1926年から1935年までは同社社長として『統計学雑誌』等の編集、刊行を行う。また生涯を通じて著書、論文を発表しながら統計学の研究と普及に努めた。専修学校（専修大学の前身）をはじめ、大日本私立衛生会（日本医師会の前身の一つ）、東京郵便電信学校、中央および地方統計講習所等、数多くの学校で統計学の講師を務め、慶應義塾大学では約20年間にわたって統計学を講じ多くの後進を育てた。1903年には陸軍教授に任命され、陸軍大学校で統計学を教授。1913年には内閣統計局兼任統計官を務めた。また全国各地の講習会に出向き統計学を講義。横山らの講習を受けた人員は10数年間で全国約2万人に上った。この講習会の多くで横山の著した『統計通論』が用いられ、当時の日本に於ける統計実務担当者の事実上の標準・教科書としての役割を果たした。この書は20版を重ね中国語にも翻訳され、当時の中国の統計行政にも用いられたとされる。日本に於ける統計学黎明期を支え、統計学普及最大の功労者の一人である。