发表于 sosp2003，经典系统工作 GFS

GFS 包括单个 master 节点。若干 chunkserver，被多个 client 同时访问

将文件分为大小固定的 chunk，每个 chunk 有一个全局唯一的 64位，由 master 在 chunk 创建时分配。
chunkserver 在本地以 linux 文件存储 chunk。每个 chunk 默认存储三个副本。

这是一个大坑，早晚要来填。。。

PCI BAR : base address register

之前做过劫持 cuda runtime 动态链接库的事情，在这里记录一下：

cudaError_t cudaMalloc ( void** devPtr, size_t size )
{
    if(!fp) {
        fp = fopen("/home/leenldk/sc/race/ASC2021-RACE/mem.out", "w");
    }
    cudaError_t (*lcudaMalloc) (void**, size_t) = (cudaError_t (*) (void**, size_t))dlsym(RTLD_NEXT, "cudaMalloc");
    cudaError_t ret = lcudaMalloc(devPtr, size);
    printf("cudaMalloc size : %#lx %#lx\n", size, (size_t)(*devPtr));
    fprintf(fp, "cudaMalloc size : %#lx %#lx\n", size, (size_t)(*devPtr));
    fflush(fp);
    return ret;
}

编译为动态链接库，使用 LD_PRELOAD 预加载

update 2022.11.2

C++ 动态库 加载，卸载 时调用函数 ：

static void init() __attribute__((constructor));
void init() {}
static void fini() __attribute__((destructor));
void fini() {}

关于

论文： Linux Block IO: Introducing Multi-queue SSD Access on
Multi-core Systems

IO 块设备的吞吐发展迅速，2012 年 SSD 4K 随机读写速度达到 785K IOPS （是不是有点高？）
SSD 随机读写速度与顺序读写持平 （不太清楚）

传统 块设备 队列优点：

• 统一接口

  缺点：

• 效率低，导致一些应用跳过块数据管理层
• 单队列，单锁，造成核间竞争
• 只有一个核处理与块设备通信，其他核需要软中断与该核通信，并且对于不同 NUMA 下的内存不友好

解决方案:

两层队列
软件队列：每个 NUMA 上 或者每个核上 一个队列
硬件队列：每个块设备上 若干队列

tag : 指示 block IO 在 driver 提交队列中的位置，在 IO 完成时指示位置

代码

hctx : hardware context

每个 request_queue 包含若干 request，包含一个 percpu 的 blk_mq_ctx (queue_ctx) ，包含若干 blk_mq_hw_ctx

每个 request 有一个 blk_mq_ctx

每个 blk_mq_hw_ctx 中包含若干 blk_mq_ctx

目前维护了 hardcoding 的 per-cpu 软件队列

使用 sbitmap 维护 pending work

struct blk_mq_hw_ctx { // include/linux/blk-mq.h
    struct {
        spinlock_t        lock;
        struct list_head    dispatch;
        unsigned long        state;        /* BLK_MQ_S_* flags */
    }
    struct blk_mq_ctx    **ctxs;
    struct blk_mq_tags    *tags; // bitmap tag
}

struct blk_mq_ctx  { // block/blk-mq.h
    unsigned int        cpu; // ctx 对应的 cpu ?
}

struct blk_mq_tags { // block/blk-mq-tag.h
    struct request **rqs; // rqs[tag] 为下标 tag 对应的 request 
}

struct request_queue { //include/linux/blkdev.h
    struct percpu_ref q_usage_counter;
    struct blk_mq_ctx __percpu    *queue_ctx; // per cpu 的本队列 context
    struct blk_mq_hw_ctx    **queue_hw_ctx; // 所有 hardware dispatch queue context ? 
    unsigned int        *mq_map; // 每个 cpu 对应的 hw_ctx 编号 ?
}
struct request { //include/linux/blkdev.h
    struct request_queue *q;
}

主机 IP

WSL 2 中虚拟机不再和主机共享网络配置，而是和主机在同一子网中
WSL 2 中获取主机 IP 可通过以下方式：

export DNS= `ip route list default | awk '{print $3}'  ` 

或

export DNS= `cat /etc/resolv.conf | tail -1 | cut -d ' ' -f 2` 

X11 forwarding

X11 forwarding 可以做一些好玩的事情，最简单的是 xclock 显示时钟和 xcalc 图形计算器

在之前的电脑用的是 MobaXterm 里自带的 cygwin 的 X11 forwarding 功能，在 MobaXterm 里开一个 cygwin 窗口，在 WSL 里直接 export DISPLAY=$DNS:0

新电脑想尝试一下不用 MobaXterm 的解决方案：首先装一个 win 端的 X11 服务器 VcXrv。装好后打开 XLaunch，注意打开 disable access control。 WSL 端还是 export DISPLAY=$DNS:0，即可开启X11

通过 ssh -X 将本地端口转发到远程

一些奇妙X11应用：
https://cyber.dabamos.de/unix/x11/