这个是干啥的？
三星和海力士都出了他们自家的prototype，暂时的大概意思是PCIe attached FPGA+DDR5模拟CXL.mem逻辑的Proof of Concept。因为CPU的CXL2.0还没出来，与之对应的cfmws type3（带pmem的读写）指令还没实现，所以一个通过 PCIe4.0 连接的CXL.mem逻辑很容易实现，也很容易先完成性能PoC。现在听人说三星用的rambus IP的延时不好于demisifying那篇文章。
与PMDK的比较
ndctl
PMDK 的 hw/sw interface 实现在 ndctl 中(之前做PM re的时候玩过)，有给iMC的指令，告诉他们什么模式启动(FSdax/devdax/Memory Mode)然后pmdk底下你issue clflush等指令还是会需要FS来维护index和crash atomicity.
SMDK 在kernel启动的时候会把SRAT(memory affinity)/CEDT(CXL Early Discovery Table)/DVSEC(Designated Vendor-Specific Extended Capability) 三选一BIOS启动参数传给kernel,告诉ACPI的哪个地址有cxl device，intel为了制定标准,把cxl ctl 也集成进ndctl了。这个命令可以获得hw信息、创建label、group等。主要的逻辑都是一样的。新的机器，只要实现了cxl.mem，内核里都会提供cxl 这个command做类似的事情。现在悬而未决的是管理cxl内存hardware axiliary的hot page inspection，用kernel里的hmm还是iouring管理cxl.cache或.mem。
in-Kernel zone memory management
在启动的时候会configure一个memory channel type在(mm/kalsr.c中我们可以看到configure过程，和pmem e820设备不同区域，所以会call在 driver/cxl/exmem.c 下的启动程序，被configure成exmem)，所有的PCIe/CXL logic都写在硬件的PoC上了
写PCIe设备的时候(先发出mov CPU地址, PCIe DMAed address, mov在DMA设备读到mmio的时候retire,PCIe设备会从DMA地址读到自己的BAR并拷贝到device RAM中。三星做的是在这里完整的模拟了CXL的过程，传输层，事物层。物理层还是走PCIe5.0。如果是反过来mov则是逆过程。板上实现了IOMMU与否不重要，如果没实现只要有DMA就行了。
如果我写一段地址到exmem mapped 的memory 上,三星的设备会对应接收到DMA请求并开始PoC板上的写内存请求，kernel 在page level会check这个page是不是在exmem上(只需要移位操作比较虚拟内存就可以了)。由于PCIe内存还是相对较慢的，最快走一次PCIe5.0也要300ns，这个模拟还是只能看看样子。我觉得傻逼在于1.复用mmap的flag来做内存分配器实际上是在分配时做决定，并不和numa allocator逻辑一样。2.mmap对于deferrable write的cxl内存并不友好。
他们的road map支持在不同的cxl node/单个node做expander来configure不同的zone。
libnuma integration
三星在libnuma中插入了新的zone，以暴露借口给他们的smalloc。
jemalloc integration
给的是jemalloc的接口，因为zonewise 的用户态内存分配器已经被研究的很透彻了。
YYW的尝试
我尝试在numa上测性能，没用他们的kernel，问题是lazy allocation，如monetdb mmap一块很大内存是很难搞的。
Reference
- https://www.youtube.com/watch?v=Uff2yvtzONc
- https://www.youtube.com/watch?v=dZXLDUpR6cU
- https://www.youtube.com/watch?v=b9APU03pJiU
- https://github.com/OpenMPDK/SMDK
- PCIe 体系结构
- SMT: Software Defined Memory Tiering for Heterogeneous Computing Systems With CXL Memory Expander
- https://www.arxiv-vanity.com/papers/1905.01135/
- https://arxiv.org/pdf/2303.15375v1.pdf