MPFS-DISCO-KIT 向け Ubuntu22.04 のメモリマップ







# はじめに


筆者は MPFS-DISCO-KIT(Microchip PolarFire SoC FPGA Discovery Kit) で動作する Ubuntu 22.04 を独自に構築しています。この記事では、この MPFS-DISCO-KIT 向け Ubuntu 22.04 でのメモリマップを解説します。




## MPFS-DISCO-KIT とは


MPFS-DISCO-KIT(Microchip PolarFire SoC FPGA Discovery Kit) は、Microchip Technology 社の PolarFire SoC FPGA(MPFS095T_1FCSG325E) を搭載した開発用のキットです。



*  PolarFire SoC FPGA with 95k LEs
*  1GByte main memory
*  1x Gigabit Ethernet
*  3x UART
*  1x micro-SD interface
*  form factor 4.1" x3.3"



詳細は次の URL を参照してください。



* https://www.microchip.com/en-us/development-tool/mpfs-disco-kit




## MPFS-DISCO-KIT 向け Ubuntu 22.04 とは


筆者は MPFS-DISCO-KIT で動作する Ubuntu 22.04 を独自に構築しています。以下の URL で公開しています。



*  https://github.com/ikwzm/MPFS-FPGA-Ubuntu22.04



なお、これらはオフィシャルなものではなく、筆者の魔改造がはいっています。ご利用の際はこの点にご留意してください。




# PolarFire SoC の特徴


メモリマップを解説するにあたり、あらかじめ知っておいたほうが良い事項を説明します。


## MSS(Micro Processor Sub System) 



### ブロック図


MSS(Micro Processor Sub System) は PolarFire SoC FPGA のうち、CPU Core Complex(U54 Core、U51 Core、L2 Cache、割り込み、TileLink)、 DDR Memory Controller、ENET、USB、各種ペリフェラル、AXI Switch をひとくくりにまとめたものです。だいたい次の図のような構成になっています。


![Fig.1 PolarFire SoC MSS Blcok Diagram](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0%2F24981%2Fb523a1aa-dafd-cdf1-4829-de1a4f61b324.jpeg "Fig.1 PolarFire SoC MSS Blcok Diagram")

Fig.1 PolarFire SoC MSS Blcok Diagram

<br />



MSS の各ブロックの詳細は『 PolarFire SoC MSS Technical Reference Manual』を参照してください。


## PolarFire SoC のメモリマップ



### CPU キャッシュが有効か否かは物理アドレスによって決まる


CPU Core Complex がメモリにアクセスする場合には次の３つのモードがあります。

  * Cached: CPU キャッシュが有効
  * Non-Cached: CPU キャッシュが無効かつ WCB(Write Combining Buffer) も無効
  * Non-Cached WCB: CPU キャッシュが無効だがWCB(Write Combining Buffer) は有効

これらのモードの切り替えは、物理アドレスによって決め打ちされています。


### 物理アドレスの下位と上位の二つのセグメントを持っている


CPU Core Complex がアクセスする領域は次の二つに分類しています。

  * Low: 物理アドレス 0x00_FFFF_FFFF 以下の領域
  * High: 物理アドレス0x01_0000_0000以上の領域




### 6つのメモリ領域の物理アドレスとサイズは固定


CPU Core Complex からみた DDR Memory へのアクセスは、Cached、Non-Cached、Non-Cached WCBの３通り × LowとHigh の２通りの合計６領域あり、PolarFire SoC では各々の物理アドレスとサイズは次のように決まっています。



Table.1 PolarFire SoC の DDR Memory Address Space

<table border="2">
  <tr>
    <td align="center" rowspan="2">Name</td>
    <td align="center" colspan="3">Memory Address Space</td>
  </tr>
  <tr>
    <td align="center">Start Address</td>
    <td align="center">End Address</td>
    <td align="center">Size</td>
  </tr>
  <tr>
    <td>DDR-Cached Low</td>
    <td align="right">0x00_8000_0000</td>
    <td align="right">0x00_BFFF_FFFF</td>
    <td align="center">1GiB</td>
  </tr>
  <tr>
    <td>DDR-Cached High</td>
    <td align="right">0x10_0000_0000</td>
    <td align="right">0x13_FFFF_FFFF</td>
    <td align="center">16GiB</td>
  </tr>
  <tr>
    <td>DDR-Non-Cached Low</td>
    <td align="right">0x00_C000_0000</td>
    <td align="right">0x00_CFFF_FFFF</td>
    <td align="center">256MiB</td>
  </tr>
  <tr>
    <td>DDR-Non-Cached High</td>
    <td align="right">0x14_0000_0000</td>
    <td align="right">0x17_FFFF_FFFF</td>
    <td align="center">16GiB</td>
  </tr>
  <tr>
    <td>DDR-Non-Cached WCB Low</td>
    <td align="right">0x00_D000_0000</td>
    <td align="right">0x00_DFFF_FFFF</td>
    <td align="center">256MiB</td>
  </tr>
  <tr>
    <td>DDR-Non-Cached WCB High</td>
    <td align="right">0x18_0000_0000</td>
    <td align="right">0x1B_FFFF_FFFF</td>
    <td align="center"> 16GiB</td>
  </tr>
</table>






### MPFS-DISCO-KIT の場合


MPFS-DISCO-KIT は 1GB の DDR-SDRAM が搭載されています。MPFS-DISCO-KIT 向け Ubuntu22.04 では、polarfire-soc-discovery-kit-reference-design を元にしており、このリファレンスデザインでは、上記６つの領域の DDR-SDRAM へのマッピングは次のように、すべて同じ開始アドレスが割り振られています。


![Fig.2 MPFS-DISCO-KIT DDR-Memory Address Mapping](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0%2F24981%2F801c1523-c2c6-5a74-f87d-bbe0d9d2ca71.jpeg "Fig.2 MPFS-DISCO-KIT DDR-Memory Address Mapping")

Fig.2 MPFS-DISCO-KIT DDR-Memory Address Mapping

<br />



つまり、MSS からみた物理アドレス上は異なる領域からのアクセスであっても、DDR-Memory 上は同一のアドレスの可能性があります。この点に注意して DDR-Memory を割り当てる必要があります。


# デバイスツリーによるメモリマッピング


MPFS-DISCO-KIT 向け Ubuntu22.04 では DDR Memory の割り振りを Device Tree で行っています。この章ではこの Device Tree を詳細に説明します。


## メモリ領域


MPFS-DISCO-KIT は1GB の DDR Memory を搭載しています。MPFS-DISCO-KIT 向け Ubuntu22.04 では、この1GB を次の５つのメモリ領域に分けて管理しています。

  * kernel: memory@80000000
  * ddr_cached_low: memory@8a000000
  * ddr_non_cached_low: memory@c4000000
  * ddr_cached_high: memory@1022000000
  * ddr_non_cached_high: memory@1412000000



これらの設定は Device Tree (mpfs-disco-kit.dts) で行っています。mpfs-disco-kit.dts のメモリ領域に関する記述を取り出すと次の通りです。


```devicetree:mpfs-disco-kit.dts
	kernel: memory@80000000 {
		device_type = "memory";
		reg = <0x0 0x80000000 0x0 0x4000000>;
	};
	ddr_cached_low: memory@8a000000 {
		device_type = "memory";
		reg = <0x0 0x8a000000 0x0 0x8000000>;
	};
	ddr_non_cached_low: memory@c4000000 {
		device_type = "memory";
		reg = <0x0 0xc4000000 0x0 0x6000000>;
	};
	ddr_cached_high: memory@1022000000 {
		device_type = "memory";
		reg = <0x10 0x22000000 0x0 0x1e000000>;
	};
	ddr_non_cached_high: memory@1412000000 {
		device_type = "memory";
		reg = <0x14 0x12000000 0x0 0x10000000>;
	};

```




この節ではこれらのメモリ領域について解説します。




### kernel: memory@80000000


Kernel は MSS アドレス空間のDDR-Cached Low 領域に配置されます。

kernel のMSS からみた開始アドレスは 0x00_8000_0000 で、領域の大きさは 0x0400_0000 です。DDR Memory からみた開始アドレスは0x0000_0000 になります。

この領域は U-Boot などブート時に Linux Kernel が配置されます。ブート後は、Linux Kernel の実行バイナリおよび各種ヒープに使用されます。


```devicetree:mpfs-disco-kit.dts
	kernel: memory@80000000 {
		device_type = "memory";
		reg = <0x0 0x80000000 0x0 0x4000000>;
	};

```





![Fig.3 kernel: memory@80000000](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0%2F24981%2F1bcd96f3-9fe2-3726-f1e0-065cbe4f214e.jpeg "Fig.3 kernel: memory@80000000")

Fig.3 kernel: memory@80000000

<br />


### ddr_cached_low: memory@8a000000


ddr_cached_low は MSS アドレス空間のDDR-Cached Low 領域に配置されます。

ddr_cached_low の開始アドレスは 0x00_8a00_0000 で、領域の大きさは 0x0800_0000 です。DDR Memory からみた開始アドレスは0x0a00_0000 になります。

この領域はブート時には Device Tree Blob が一時的にロードされます。また、Linux 起動後はユーザープログラムの実行などに使用されます。


```devicetree:mpfs-disco-kit.dts
	ddr_cached_low: memory@8a000000 {
		device_type = "memory";
		reg = <0x0 0x8a000000 0x0 0x8000000>;
	};

```





![Fig.4 ddr_cached_low: memory@8a000000](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0%2F24981%2F7c587369-174a-c28c-6af1-2f59484cc88a.jpeg "Fig.4 ddr_cached_low: memory@8a000000")

Fig.4 ddr_cached_low: memory@8a000000

<br />




### ddr_non_cached_low: memory@c4000000


ddr_non_cached_low は MSS アドレス空間のDDR-Non-Cached Low 領域に配置されます。

ddr_non_cached_low の開始アドレスは 0x00_c400_0000 で、領域の大きさは 0x0600_0000 です。DDR Memory からみた開始アドレスは0x0a00_0000 になります。


```devicetree:mpfs-disco-kit.dts
	ddr_non_cached_low: memory@c4000000 {
		device_type = "memory";
		reg = <0x0 0xc4000000 0x0 0x6000000>;
	};

```





![Fig.5 ddr_non_cached_low: memory@c4000000](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0%2F24981%2F12d647c0-8898-0827-352a-a3d83a4ca2b3.jpeg "Fig.5 ddr_non_cached_low: memory@c4000000")

Fig.5 ddr_non_cached_low: memory@c4000000

<br />




### ddr_cached_high: memory@1022000000


ddr_cached_high は MSS アドレス空間のDDR-Cached High 領域に配置されます。

ddr_cached_high の開始アドレスは 0x10_2200_0000 で、領域の大きさは 0x1e00_0000 です。DDR Memory からみた開始アドレスは0x2200_0000 になります。

この領域はユーザープログラムの実行などに使用されます。


```devicetree:mpfs-disco-kit.dts
	ddr_cached_high: memory@1022000000 {
		device_type = "memory";
		reg = <0x10 0x22000000 0x0 0x1e000000>;
	};

```



![Fig.6 ddr_cached_high: memory@1022000000](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0%2F24981%2F557f11f3-16b5-90cc-b43a-36d6efd649ed.jpeg "Fig.6 ddr_cached_high: memory@1022000000")

Fig.6 ddr_cached_high: memory@1022000000

<br />




### ddr_non_cached_high: memory@1412000000


ddr_non_cached_high は MSS アドレス空間のDDR-Non-Cached High 領域に配置されます。

ddr_non_cached_high の開始アドレスは 0x14_1200_0000 で、領域の大きさは 0x1000_0000 です。DDR Memory からみた開始アドレスは0x1200_0000 になります。

この領域は DMA Buffer として使用されます。




```devicetree:mpfs-disco-kit.dts
	ddr_non_cached_high: memory@1412000000 {
		device_type = "memory";
		reg = <0x14 0x12000000 0x0 0x10000000>;
	};

```



![Fig.7 ddr_non_cached_high: memory@1412000000](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0%2F24981%2F2192afb6-2d1f-ba00-ff40-09139c6afed0.jpeg "Fig.7 ddr_non_cached_high: memory@1412000000")

Fig.7 ddr_non_cached_high: memory@1412000000

<br />




## 予約されたメモリ領域


MPFS-DISCO-KIT 向け Ubuntu22.04 では 前節で割り振ったメモリ領域のうち、DMA Buffer などの特殊な用途専用にメモリ空間を予約しています。これらは Device Tree の reserved-memory ノードに記述されています。この節では、この予約されたメモリ領域の説明をします。


### hss: hss-buffer@103fc00000


hss は メモリ領域 ddr_cached_high に予約されます。

hss の開始アドレスは 0x10_3fc0_0000 で、領域の大きさは 0x0020_0000 です。DDR Memory からみた開始アドレスは0x3fc0_0000 になります。

この領域は HSS と Linux Kernel との通信用バッファとして使用されます。


```devicetree:mpfs-disco-kit.dts
	reserved-memory {
		hss: hss-buffer@103fc00000 {
			compatible = "shared-dma-pool";
			reg = <0x10 0x3fc00000 0x0 0x200000>;
			no-map;
		};
	};

```



![Fig.8 hss: hss-buffer@103fc00000](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0%2F24981%2F0625fbfa-2863-8ee7-c446-382593bb00fb.jpeg "Fig.8 hss: hss-buffer@103fc00000")

Fig.8 hss: hss-buffer@103fc00000

<br />


### dma_non_cached_low: non-cached-low-buffer 


dma_non_cached_low は メモリ領域 ddr_non_cached_low に予約されます。

dma_non_cached_low の開始アドレスは 0x00_c400_0000 で、領域の大きさは 0x0400_0000 です。DDR Memory からみた開始アドレスは0x0400_0000 になります。

この領域は DMA Buffer として使用されます。


```devicetree:mpfs-disco-kit.dts
	reserved-memory {
		dma_non_cached_low: non-cached-low-buffer {
			compatible = "shared-dma-pool";
			size = <0x0 0x4000000>;
			no-map;
			alloc-ranges = <0x0 0xc4000000 0x0 0x4000000>;
		};
	};
```



![Fig.9 dma_non_cached_low: non-cached-low-buffer](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0%2F24981%2Febea9732-598b-a1f1-8de5-3ab0ab865930.jpeg "Fig.9 dma_non_cached_low: non-cached-low-buffer")

Fig.9 dma_non_cached_low: non-cached-low-buffer

<br />


### dma_non_cached_high: non-cached-high-buffer


dma_non_cached_high は メモリ領域 ddr_non_cached_high に予約されます。

dma_non_cached_high の開始アドレスは 0x14_1200_0000 で、領域の大きさは 0x1000_0000 です。DDR Memory からみた開始アドレスは0x1200_0000 になります。

この領域は DMA Buffer に使われます。特に linux,dma-default プロパティが設定されているため、各種デバイスドライバが DMA Buffer を確保する際は優先的にこの領域が使われます。


```devicetree:mpfs-disco-kit.dts
	reserved-memory {
		dma_non_cached_high: non-cached-high-buffer {
			compatible = "shared-dma-pool";
			size = <0x0 0x10000000>;
			no-map;
			linux,dma-default;
			alloc-ranges = <0x14 0x12000000 0x0 0x10000000>;
		};
	};

```



![Fig.10 dma_non_cached_high: non-cached-high-buffer](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0%2F24981%2F5fcc081b-1e6a-0e01-e666-f2e0127cd9ba.jpeg "Fig.10 dma_non_cached_high: non-cached-high-buffer")

Fig.10 dma_non_cached_high: non-cached-high-buffer

<br />




### fabricbuf0ddrc: buffer@88000000


fabricbuf0ddrc は メモリ領域 ddr_non_cached_low に予約されます。

fabricbuf0ddrc の開始アドレスは 0x00_8800_0000 で、領域の大きさは 0x0020_0000 です。DDR Memory からみた開始アドレスは0x0800_0000 になります。

ここで話がややこしくなるのですが、DDR Memory の領域上は ddr_non_cached_low にあるのですが、MSS アドレス空間上のアドレスは DDR-Cached Low にあることです。したがって、ここへのアクセスは、キャッシュが有効になります。また、後述の fabricbuf1ddrnc や fabricbuf2ddrncwcb と DDR-Memory 上のメモリ領域を共有しています。


```devicetree:mpfs-disco-kit.dts
	reserved-memory {
		fabricbuf0ddrc: buffer@88000000 {
			compatible = "shared-dma-pool";
			reg = <0x0 0x88000000 0x0 0x2000000>;
			no-map;
		};
	};

```



![Fig.11 fabricbuf0ddrc: buffer@88000000](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0%2F24981%2F7a7e91e3-f037-8569-158d-fe89a4ea1c2c.jpeg "Fig.11 fabricbuf0ddrc: buffer@88000000")

Fig.11 fabricbuf0ddrc: buffer@88000000

<br />


### fabricbuf1ddrnc: buffer@c8000000


fabricbuf1ddrnc は メモリ領域 ddr_non_cached_low に予約されます。

fabricbuf1ddrnc の開始アドレスは 0x00_C800_0000 で、領域の大きさは 0x0020_0000 です。DDR Memory からみた開始アドレスは0x0800_0000 になります。

DDR Memory の領域上は ddr_non_cached_low にあり、MSS アドレス空間上のアドレスは DDR-Non-Cached Low にあります。したがって、ここへのアクセスは、キャッシュが無効になります。

また、前述の fabricbuf0ddrc や後述の fabricbuf2ddrncwcb と DDR-Memory 上のメモリ領域を共有しています。


```devicetree:mpfs-disco-kit.dts
	reserved-memory {
		fabricbuf1ddrnc: buffer@c8000000 {
			compatible = "shared-dma-pool";
			reg = <0x0 0xc8000000 0x0 0x2000000>;
			no-map;
		 };
	};

```





![Fig.12 fabricbuf1ddrnc: buffer@c8000000](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0%2F24981%2Fae327d29-6233-7f65-e13b-17940250632d.jpeg "Fig.12 fabricbuf1ddrnc: buffer@c8000000")

Fig.12 fabricbuf1ddrnc: buffer@c8000000

<br />


### fabricbuf2ddrncwcb: buffer@d8000000


fabricbuf2ddrncwcb は メモリ領域 ddr_non_cached_low に予約されます。

fabricbuf2ddrncwcb の開始アドレスは 0x00_D800_0000 で、領域の大きさは 0x0020_0000 です。DDR Memory からみた開始アドレスは0x0800_0000 になります。

DDR Memory の領域上は ddr_non_cached_low にありますが、MSS アドレス空間上のアドレスは DDR-Non-Cached WCB Low にあります。したがって、ここへのアクセスは、キャッシュが無効になりますが WCB(Write Combining Buffer) は有効になります。

また、前述の fabricbuf0ddrc や fabricbuf1ddrnc と DDR-Memory 上のメモリ領域を共有しています。


```devicetree:mpfs-disco-kit.dts
	reserved-memory {
		fabricbuf2ddrncwcb: buffer@d8000000 {
			compatible = "shared-dma-pool";
			reg = <0x0 0xd8000000 0x0 0x2000000>;
			no-map;
		};
	};

```



![Fig.13 fabricbuf2ddrncwcb: buffer@d8000000](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0%2F24981%2F173510e0-e5b2-f852-5547-5752ef2912e5.jpeg "Fig.13 fabricbuf2ddrncwcb: buffer@d8000000")

Fig.13 fabricbuf2ddrncwcb: buffer@d8000000

<br />


## ペリフェラル各種からみたメモリマップ



### デバイスツリー


PolarFire SoC の MSS には、CPU Core Complex  以外にも ENET や USB などの各種ペリフェラルがあります。これらのペリフェラルは mpfs.dtsi という Device Tree で soc ノードの配下として定義されています。一部を抜粋すると次のようになっています。実際には mac0 の他にも  gpio や spi 等の各種ペリフェラルが定義されています。


```devicetree:mpfs.dtsi
// SPDX-License-Identifier: (GPL-2.0 OR MIT)
/* Copyright (c) 2020-2021 Microchip Technology Inc */
/dts-v1/;
#include "dt-bindings/clock/microchip,mpfs-clock.h"
/ {
	#address-cells = <2>;
	#size-cells = <2>;
	model = "Microchip PolarFire SoC";
	compatible = "microchip,mpfs";
	:
	(中略)
	:
	soc {
		#address-cells = <2>;
		#size-cells = <2>;
		compatible = "simple-bus";
		ranges;
		:	
		(中略)
		:
		mac0: ethernet@20110000 {
			compatible = "microchip,mpfs-macb", "cdns,macb";
			reg = <0x0 0x20110000 0x0 0x2000>;
			#address-cells = <1>;
			#size-cells = <0>;
			interrupt-parent = <&plic>;
			interrupts = <64>, <65>, <66>, <67>, <68>, <69>;
			local-mac-address = [00 00 00 00 00 00];
			clocks = <&clkcfg CLK_MAC0>, <&clkcfg CLK_AHB>;
			clock-names = "pclk", "hclk";
			resets = <&mss_top_sysreg CLK_MAC0>;
			status = "disabled";
		};
		:	
		(中略)
		:
	};
};
```




mpfs.dtsi は MPFS(Microchip PolarFire SoC) 共通のデバイスツリーです。各種ボード固有のデバイスツリーは、この mpfs.dtsi をインクルードして、個別の定義を追加します。例えば、MPFS-DISCO-KIT のデバイスツリーは次のようになっています。


```devicetree:mpfs-disco-kit.dts
// SPDX-License-Identifier: (GPL-2.0 OR MIT)
/* Copyright (c) 2020-2021 Microchip Technology Inc */
/dts-v1/;
#include "mpfs.dtsi"
#include "mpfs-disco-kit-fabric.dtsi"
#include <dt-bindings/gpio/gpio.h>
#include <dt-bindings/leds/common.h>
/* Clock frequency (in Hz) of the rtcclk */
#define RTCCLK_FREQ		   1000000
/ {
	#address-cells = <2>;
	#size-cells = <2>;
	model = "Microchip PolarFire-SoC Discovery Kit";
	compatible = "microchip,mpfs-disco-kit", "microchip,mpfs";
	soc {
		dma-ranges = <0x14 0x0 0x0 0x80000000 0x0 0x4000000>,
			     <0x14 0x4000000 0x0 0xc4000000 0x0 0x6000000>,
			     <0x14 0xa000000 0x0 0x8a000000 0x0 0x8000000>,
			     <0x14 0x12000000 0x14 0x12000000 0x0 0x10000000>,
			     <0x14 0x22000000 0x10 0x22000000 0x0 0x1e000000>;
	};
	:
	(中略)
	:
};
:
(中略)
:
&mac0 {
	dma-noncoherent;
	status = "okay";
	phy-mode = "sgmii";
	phy-handle = <&phy0>;
	phy0: ethernet-phy@b {
		reg = <0xb>;
	};
};
:
(後略)
:

```




mpfs-disco-kit.dts では mac0 のノードに次のような変更を加えています。

  * status プロパティに "okay" を上書きして mac0 ノードを有効化
  * phy0 ノードを追加して PHY デバイスドライバと接続
  * dma-noncoherent プロパティを追加（詳細は次々節)

これらの変更により MPFS-DISCO-KIT でmac0 を使えるようにしています。




### CPUからみたメモリマップとの違い


もうひとつの留意点は soc ノードの dma-ranges プロパティです。dma-ranges は2セルの dma-address、2セルの cpu-address、2セルの size を一組とした dma-range を複数記述したものです。mpfs-disco-kit.dts では次のようになっています。

Table.2 MPFS-DISCO-KIT の soc の dma-ranges

| dma address | cpu address  | Size |
|-------------|--------------|------|
| 0x14_0000_0000 | 0x00_8000_0000 | 64MiB |
| 0x14_0400_0000 | 0x00_c400_0000 | 96MiB |
| 0x14_0a00_0000 | 0x00_8a00_0000 | 128MiB |
| 0x14_1200_0000 | 0x14_1200_0000 | 256MiB |
| 0x14_2200_0000 | 0x10_2200_0000 | 480MiB |



dma-ranges は CPU からみたアドレスと DMA デバイスからみたアドレスが異なる場合に指定されるプロパティです。上記の dma-ranges が何を意味するかというと、CPU からみたアドレスとサイズは、それぞれメモリ領域で説明した kernel、ddr_non_cached_low、ddr_cached_low、ddr_non_cached_high、ddr_cached_high に相当しますが、DMA デバイスからみたアドレスは全て DDR-Non-Cached High に対応しています。これらを表で示すと次のようになります。

Table.3 MPFS-DISCO-KIT の CPU メモリマップと SoC メモリマップの対応

<table border="2">
  <tr>
    <td align="center" colspan="2">Memory Map(CPU)</td>
    <td align="center" colspan="2">Memory Map(DMA Device)</td>
  </tr>
  <tr>
    <td align="center">memory range</td>
    <td align="center">cpu address </td>
    <td align="center">memory range</td>
    <td align="center">dma address</td>
  </tr>
  <tr>
    <td align="center">kernel</td>
    <td align="right">0x00_8000_0000</td>
    <td align="center" rowspan="5">DDR-Non-Cached High</td>
    <td align="right">0x14_0000_0000</td>
  </tr>
  <tr>
    <td align="center">ddr_non_cached_low</td>
    <td align="right">0x00_c400_0000</td>
    <td align="right">0x14_0400_0000</td>
  </tr>
  <tr>
    <td align="center">ddr_cached_low</td>
    <td align="right">0x00_8a00_0000</td>
    <td align="right">0x14_0a00_0000</td>
  </tr>
  <tr>
    <td align="center">ddr_non_cached_high</td>
    <td align="right">0x14_1200_0000</td>
    <td align="right">0x14_1200_0000</td>
  </tr>
  <tr>
    <td align="center">ddr_cached_high</td>
    <td align="right">0x10_2200_0000</td>
    <td align="right">0x14_2200_0000</td>
  </tr>
</table>



CPU が確保した DMA Buffer がどのメモリ領域であっても DMA Device からみたメモリ領域はすべて DDR-NonCached Highに配置されています。このことは、キャッシュのコヒーレンシ—に注意しなければならないことを意味します。




### キャッシュのコヒーレンシーに注意


PolarFire SoC の MSS ではキャッシュのコヒーレンシ—は TileLink によって自動的に保証されます。

Fabricや各種ペリフェラルがメモリにアクセスする際は一旦 AXI Switch を通します。AXI Switch は与えられたアドレスによってどのスレーブポートにアクセスするか決まります。『PolarFire SoC MSS Technical Reference Manual』の「Table 3-35. Address Ranges of Slaves」では次のようになっています。

Table.4 Address Range of Slaves (PolarFire SoC MSS Technical Reference Manual) 

<table border="2">
  <tr>
    <td rowspan="2">Slave Port</td>
    <td colspan="2">Region 1</td>
    <td colspan="2">Region 2</td>
    <td colspan="2">Region 3</td>
  </tr>
  <tr>
    <td>Start</td>
    <td>End</td>
    <td>Start</td>
    <td>End</td>
    <td>Start</td>
    <td>End</td>
  </tr>
  <tr>
    <td>S1</td>
    <td>0x20_0000_0000</td>
    <td>0x2F_FFFF_FFFF</td>
    <td>0x00_6000_0000</td>
    <td>0x00_7FFF_FFFF</td>
    <td>-</td>
    <td>-</td>
  </tr>
  <tr>
    <td>S2</td>
    <td>0x30_0000_0000</td>
    <td>0x3F_FFFF_FFFF</td>
    <td>0x00_E000_0000</td>
    <td>0x00_FFFF_FFFF</td>
    <td>-</td>
    <td>-</td>
  </tr>
  <tr>
    <td>S3</td>
    <td>0x00_4000_0000</td>
    <td>0x00_5FFF_FFFF</td>
    <td>-</td>
    <td>-</td>
    <td>-</td>
    <td>-</td>
  </tr>
  <tr>
    <td>S4</td>
    <td>0x00_2200_0000</td>
    <td>0x00_2201_FFFF</td>
    <td>-</td>
    <td>-</td>
    <td>-</td>
    <td>-</td>
  </tr>
  <tr>
    <td>S5</td>
    <td>0x00_2000_0000</td>
    <td>0x00_21FF_FFFF</td>
    <td>-</td>
    <td>-</td>
    <td>-</td>
    <td>-</td>
  </tr>
  <tr>
    <td>S6</td>
    <td>0x00_2800_0000</td>
    <td>0x00_2FFF_FFFF</td>
    <td>-</td>
    <td>-</td>
    <td>-</td>
    <td>-</td>
  </tr>
  <tr>
    <td>S7</td>
    <td>0x14_0000_0000</td>
    <td>0x1B_FFFF_FFFF</td>
    <td>0x00_C000_0000</td>
    <td>0x00_DFFF_FFFF</td>
    <td>-</td>
    <td>-</td>
  </tr>
  <tr>
    <td>S8</td>
    <td>0x10_0000_0000</td>
    <td>0x13_FFFF_FFFF</td>
    <td>0x00_8000_0000</td>
    <td>0x00_BFFF_FFFF</td>
    <td>0x00_0000_0000</td>
    <td>0x00_1FFF_FFFF</td>
  </tr>
  <tr>
    <td>S9</td>
    <td>0x00_2300_0000</td>
    <td>0x00_2303_FFFF</td>
    <td>-</td>
    <td>-</td>
    <td>-</td>
    <td>-</td>
  </tr>
</table>

DDR Memory に対するアクセスはアドレスによってS7(DDR Memory に直接アクセス)か S8(TileLinkを経由して DDR Memory にアクセス) かが選択されます。S8が選択された場合(TileLink を経由する場合)は、キャッシュのコヒーレンシーは TileLink によって自動的に保証されますが、S7 が選択された場合(DDR Memory に直接アクセス)は、キャッシュのコヒーレンシーは自動的に保証されません。


![Fig.14 CPU Cached Access and Peripheral Non-Cached Access](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0%2F24981%2F71e434eb-207d-9e8e-ad30-ebac7c691066.jpeg "Fig.14 CPU Cached Access and Peripheral Non-Cached Access")

Fig.14 CPU Cached Access and Peripheral Non-Cached Access

<br />



したがって、S7 が選択された場合はキャッシュのコヒーレンシーはソフトウェアで保証する必要があります。具体的には Peripheral が DMA Buffer にアクセスする前後でCPUが明示的にキャッシュと DDR Memory と同期します。

そのために、デバイスツリーの soc ノード配下の DMA を行うデバイスには dma-noncoherent プロパティを定義して、キャッシュのコヒーレンシをソフトウェアで保証することを明示しなければなりません。



Linux のキャッシュコヒーレンシの詳細は別記事にまとめているので、[参考]の[Linux のキャッシュコヒーレンシーに関する記事]を参照してください。


# 参考



## MPFS(Microchip PolarFire SoC) の資料


* [『 PolarFire SoC MSS Technical Reference Manual』@Microchip](https://ww1.microchip.com/downloads/aemDocuments/documents/FPGA/ProductDocuments/ReferenceManuals/PolarFire_SoC_FPGA_MSS_Technical_Reference_Manual_VC.pdf)




## MPFS-DISCO-KIT(Microchip PolarFire SoC FPGA Discovery Kit) の資料


* [『PolarFire SoC Discovery Kit』@Microchip](https://www.microchip.com/en-us/development-tool/mpfs-disco-kit)
* [『PolarFire SoC FPGA Discovery Kit User Guide』@Microchip](https://ww1.microchip.com/downloads/aemDocuments/documents/FPGA/ProductDocuments/UserGuides/PolarFire_SoC_FPGA_Discovery_Kit_User_Guide.pdf)




## MPFS-DISCO-KIT 向け Ubuntu22.04 の記事


* [『MPFS-DISCO-KIT 向け Ubuntu 22.04 の構築(イントロ編)』@Qiita](https://qiita.com/ikwzm/items/1866dc3bb5292fd1f6e1)




## Linux のキャッシュコヒーレンシーに関する記事


* [『Linux で DMA Bufferを mmap した時に CPU Cacheが無効になる場合がある (Cache Coherence 問題とは何か)』@Qiita](https://qiita.com/ikwzm/items/f60281491cc83f29c019)
* [『Linux で DMA Bufferを mmap した時に CPU Cacheが無効になる場合がある (Cache Coherence 問題の解決方法)』@Qiita](https://qiita.com/ikwzm/items/6d3225e4cbdbbabcabd5)
* [『Linux で DMA Bufferを mmap した時に CPU Cacheが無効になる場合がある (Linux Kernel の Cache 問題の扱い)』@Qiita](https://qiita.com/ikwzm/items/f32985890b2013ef5528)
* [『Linux で DMA Bufferを mmap した時に CPU Cacheが無効になる場合がある (RISC-V CPU の注意点)』@Qiita](https://qiita.com/ikwzm/items/3c6b15029780be57f3a9)