每周乱搞日记(3)

防止假期摸鱼，记一下每天都干了什么
这个假期主要需要搞TVM那边的工作

6.11

$SHELL环境变量是当前的shell路径

6.12

tmux调整当前窗口全屏 ： ctrl+b z
tmux新建窗口： ctrl+b c ，下一个窗口：ctrl+b n
ctrl+b [ : 页面滚动
任务提交dgx-dev : qsub -I -q dgx-dev

6.13

cmake添加前缀路径：CMAKE_PREFIX_PATH = /opt/fftw:/opt/cuda cmake ..

6.21

ssh -L [localport]:[host]:[hostport] [host] 将本地端口localport ssh forward到host的hostport上
ssh -D [localport] [host] 将host转发到localport

/sys : 在内存中
/var : variable，可能grow in size的内容

6.22

CPU flops计算：
对于nico的Intel® Xeon® Gold 5218 Processor:
每个核有1个AVX-512 FMA unit (单个时钟周期内两次512bit 的乘法和加法)
睿频3.9GHz，32位GFLOPS = 64 * 512 / 32 * 2 * 3.9 = 7987 => 8TFLOPS
单V100 single precision 14TFLOPS
带宽900GB/sec

nico1上v100的capability 7.0
参考一些 《CUDA C权威编程指南》里面的内容

atomicCAS(int *address, int compare, int val)
(*address == compare ? val : *address)
可以通过它对 capability < 6.0 设备实现 atomicAdd

一个有趣的东西 warp vote function：__all_sync/__any_sync...(unsigned mask, int predicate)
对wrap中 mask中每个线程传入一个predicate与0比较，返回结果到每个wrap

nvidia-smi -L : 查看所有GPU的设备ID
nvidia-smi -q -i 0 : 查看GPU0详细信息

一个block只能在一个SM上被调度
major revision number对应架构: Volta 7, Pascal 6, Maxwell 5, Kepler 3, Fermi 2, Tesla 1
Turing 7.5 (基于Volta的incremental)

-arch=compute_30 : 编译选项中使用3.0 capability

6.23

Fermi架构中shared memory 和 L1 cache 共享
Kepler : 每个SM中包含192个单精单元，64双精单元，32特殊单元，32加载存储单元
每个SM中有4个 wrap 调度器，8个指令调度器。可同时调度64个wrap,2048个线程
双精1TFLOPS
动态并行，GPU可以启动嵌套kernel

6.24

V100 release时间是2017.5
我觉得目前可以做的是研究V100的tensor core
PTX = parallel thread execution
active threads : 在所在wrap当前执行路径上的threads

ASpT的代码中大量用到了__shfl原语
在一个wrap的threads之间交换一个variable

int __shfl(int var, int srcLane, int width=warpSize);

返回srcLane中var的值
width必须是power of 2
width<warpSize时每width个thread被视为一个子wrap

matrix multiply and accumulate (D = A*B + C)

6.25

register bank conflict : volta架构中寄存器被分为两个64bit bank
一个volta指令每个cycle只能访问每个bank的64 bit

x86_64中，依次使用rdi, rsi, rdx传递函数参数
A100 GPU : 54 billion 晶体管 826 mm^2
ampere架构

6.26

intel cascade lake : 基于 sky lake 优化