区块链技术博客
www.b2bchain.cn

内存性能排查总结

这篇文章主要介绍了内存性能排查总结的讲解,通过具体代码实例进行16943 讲解,并且分析了内存性能排查总结的详细步骤与相关技巧,需要的朋友可以参考下https://www.b2bchain.cn/?p=16943

本文实例讲述了2、树莓派设置连接WiFi,开启VNC等等的讲解。分享给大家供大家参考文章查询地址https://www.b2bchain.cn/7039.html。具体如下:

文章目录

  • 内存性能排查总结
    • Linux内存管理
      • 内存映射
      • 虚拟内存空间分布
      • 内存分配与回收
    • 重要指标/概念
      • buff/cache
      • SWAP
      • NUMA
      • swappiness
      • 缺页异常
    • 常用工具
      • free
      • top
      • vmstat
      • /proc/

内存性能排查总结

Linux内存管理

内存映射

Linux内核给每个进程都提供了一个独立的虚拟地址空间,并且这个地址空间是连续的,这样,进程就可以很方便的访问虚拟内存,虚拟地址空间的内部又分为内核空间用户空间,不同的处理器内核空间范围不同,常见的32位与64位系统,虚拟地址空间如下:

内存性能排查总结

从上图可知,32位系统的内核空间占用1G,位于最高处,剩下的3G是用户空间。而64位系统的内核空间和用户空间都是128T,分别占据整个内存最高和最低处,剩下属于未定义部分。

进程在用户态时,只能访问用户空间内存,只有进入内核态后还能访问内核空间内存,虽然每个进程的地址空间都包含了内核空间,但这些内核空间其实是关联相同的物理内存,这样,进程切换到内核态后,可以很方便访问内核空间内存。并不是所有的虚拟内存都会分配物理内存,只有那些实际使用的虚拟内存才分配物理内存,并且分配后的物理内存是通过内存映射来管理的。

内存映射,也就是将虚拟内存地址映射到物理内存地址。为了完成这个映射,内核为每个进程都维护了一张页表,记录虚拟地址和物理地址的映射关系。如下:

内存性能排查总结

页表实际上存储在CPU的内存管理单元MMU(memory management unit)中,正常情况下,处理器就可以直接通过硬件找到要访问的内存。而当进程访问的虚拟地址在页表中找不到时,系统就会产生一个缺页异常,进入内核空间分配物理内存、更新进程页表、最后再返回用户空间,恢复进程运行

程序访问内存页逻辑如下:

内存性能排查总结

TLB(Translation Lookaside Buffer)是MMU的高速缓存。由于进程的虚拟地址空间是独立的,而TLB的访问速度又比MMU快得多,所以,通过减少进程的上下文切换,减少TLB的刷新次数,就可以提高TLB的缓存使用率,进而提高CPU的内存访问性能。

MMU 并不以字节为单位来管理内存,而是规定了一个内存映射的最小单位,也就是页,通常是 4 KB 大小。这样,每一次内存映射,都需要关联 4 KB 或者 4KB 整数倍的内存空间。页的大小只有 4 KB ,导致的另一个问题就是,整个页表会变得非常大。比方说,仅 32 位系统就需要 100 多万个页表项(4GB/4KB),才可以实现整个地址空间的映射。

为了解决页表项过多的问题,Linux 提供了两种机制,也就是多级页表大页(HugePage)

  • 多级页表就是把内存分成区块来管理,将原来的映射关系改成区块索引和区块内的偏移。由于虚拟内存空间通常只用了很少一部分,那么,多级页表就只保存这些使用中的区块,这样就可以大大地减少页表的项数。Linux 用的正是四级页表来管理内存页,如下图所示,虚拟地址被分为 5 个部分,前 4 个表项用于选择页,而最后一个索引表示页内偏移。

内存性能排查总结

  • 大页,顾名思义,就是比普通页更大的内存块,常见的大小有 2MB 和 1GB。大页通常用在使用大量内存的进程上,比如 Oracle、DPDK 等。

虚拟地址与物理地址映射流程如下:

内存性能排查总结

虚拟内存空间分布

虚拟内存空间分布如下:

内存性能排查总结

通过上图可知:

  • 只读段,包括代码和常量等。
  • 数据段,包括全局变量等。
  • 堆,包括动态分配的内存,从低地址开始向上增长。
  • 文件映射段,包括动态库、共享内存等,从高地址开始向下增长。
  • 栈,包括局部变量和函数调用的上下文等,栈的大小是固定的,一般是 8 MB。

在这五个内存段中,堆和文件映射段的内存是动态分配的。比如说,使用 C 标准库的 malloc() 或者 mmap() ,就可以分别在堆和文件映射段动态分配内存。

内存分配与回收

malloc()是C标准库提供的内存分配函数,对应到系统调用上,有两种实现方式,即brk()mmap()。对小块内存(小于 128K),C 标准库使用 brk() 来分配,也就是通过移动堆顶的位置来分配内存。这些内存释放后并不会立刻归还系统,而是被缓存起来,这样就可以重复使用。而大块内存(大于 128K),则直接使用内存映射 mmap() 来分配,也就是在文件映射段找一块空闲内存分配出去。

brk()方式的缓存,可以减少缺页异常的发生,提高内存访问效率。不过,由于这些内存没有归还系统,在内存工作繁忙时,频繁的内存分配和释放会造成内存碎片。而 mmap()方式分配的内存,会在释放时直接归还系统,所以每次 mmap 都会发生缺页异常。在内存工作繁忙时,频繁的内存分配会导致大量的缺页异常,使内核的管理负担增大。这也是 malloc 只对大块内存使用 mmap 的原因。了解这两种调用方式后,我们还需要清楚一点,那就是,当这两种调用发生后,其实并没有真正分配内存。这些内存,都只在首次访问时才分配,也就是通过缺页异常进入内核中,再由内核来分配内存。整体来说,Linux 使用伙伴系统来管理内存分配。这些内存在 MMU 中以页为单位进行管理,伙伴系统也一样,以页为单位来管理内存,并且会通过相邻页的合并,减少内存碎片化(比如 brk 方式造成的内存碎片)。

在用户空间,malloc 通过 brk()分配的内存,在释放时并不立即归还系统,而是缓存起来重复利用。在内核空间,Linux 则通过 slab 分配器来管理小内存。你可以把 slab 看成构建在伙伴系统上的一个缓存,主要作用就是分配并释放内核中的小对象。

当然,系统也不会任由某个进程用完所有内存。在发现内存紧张时,系统就会通过一系列机制来回收内存,比如下面这三种方式:

  • 回收缓存,比如使用 LRU(Least Recently Used)算法,回收最近使用最少的内存页面;
  • 回收不常访问的内存,把不常用的内存通过交换分区直接写到磁盘中;
  • 杀死进程,内存紧张时系统还会通过 OOM(Out of Memory),直接杀掉占用大量内存的进程。

重要指标/概念

buff/cache

以下是man free的解释

buffers Memory used by kernel buffers (Buffers in /proc/meminfo) cache  Memory used by the page cache and slabs (Cached and SReclaimable in /proc/meminfo) 
  • Buffers 是内核缓冲区用到的内存,对应的是 /proc/meminfo 中的 Buffers 值。
  • Cache 是内核页缓存和 Slab 用到的内存,对应的是 /proc/meminfo 中的 Cached 与 SReclaimable 之和。

再进一步查看proc文档

Buffers %lu     Relatively temporary storage for raw disk blocks that shouldn't get tremendously large (20MB or so).  Cached %lu    In-memory cache for files read from the disk (the page cache).  Doesn't include SwapCached. ... SReclaimable %lu (since Linux 2.6.19)     Part of Slab, that might be reclaimed, such as caches.      SUnreclaim %lu (since Linux 2.6.19)     Part of Slab, that cannot be reclaimed on memory pressure. 
  • Buffers 是对原始磁盘块的临时存储,也就是用来缓存磁盘的数据,通常不会特别大(20MB 左右)。这样,内核就可以把分散的写集中起来,统一优化磁盘的写入,比如可以把多次小的写合并成单次大的写,也可以缓存从磁盘读取的数据。
  • Cached 是从磁盘读取文件的页缓存,也就是用来缓存从文件读取的数据。这样,下次访问这些文件数据时,就可以直接从内存中快速获取,而不需要再次访问缓慢的磁盘,也可以用作写文件的页缓存。
  • SReclaimable 是 Slab 的一部分。Slab 包括两部分,其中的可回收部分,用 SReclaimable 记录;而不可回收部分,用 SUnreclaim 记录。

**Buffer 是对磁盘数据的缓存,而 Cache 是文件数据的缓存,它们既会用在读请求中,也会用在写请求中。**理论上,一个文件读首先到Block Buffer, 然后到Page Cache。有了文件系统才有了Page Cache.在老的Linux上这两个Cache是分开的。那这样对于文件数据,会被Cache两次。这种方案虽然简单,但低效。后期Linux把这两个Cache统一了。对于文件,Page Cache指向Block Buffer,对于非文件则是Block Buffer。文件操作,只影响Page Cache,Raw操作,则只影响Buffer.

SWAP

Swap 就是把一块磁盘空间或者一个本地文件(以下讲解以磁盘为例),当成内存来使用。它包括换出和换入两个过程。

  • 换出,就是把进程暂时不用的内存数据存储到磁盘中,并释放这些数据占用的内存。
  • 换入,则是在进程再次访问这些内存的时候,把它们从磁盘读到内存中来。

内存回收策略:

  • 直接内存回收:有新的大块内存分配请求,但是剩余内存不足。这个时候系统就需要回收一部分内存(比如前面提到的缓存),进而尽可能地满足新内存请求。

  • 定期回收内存,内核有一个专门的线程kswapd0用于定期回收内存,为了衡量内存的使用情况,kswapd0 定义了三个内存阈值(watermark,也称为水位),分别是

    • 页最小阈值(pages_min)
    • 页低阈值(pages_low)
    • 页高阈值(pages_high)
    • 剩余内存,则使用 pages_free 表示。

    关系如下图

    内存性能排查总结

kswapd0 定期扫描内存的使用情况,并根据剩余内存落在这三个阈值的空间位置,进行内存的回收操作。

  • 剩余内存小于页最小阈值,说明进程可用内存都耗尽了,只有内核才可以分配内存。
  • 剩余内存落在页最小阈值和页低阈值中间,说明内存压力比较大,剩余内存不多了。这时 kswapd0 会执行内存回收,直到剩余内存大于高阈值为止。
  • 剩余内存落在页低阈值和页高阈值中间,说明内存有一定压力,但还可以满足新内存请求。
  • 剩余内存大于页高阈值,说明剩余内存比较多,没有内存压力。

NUMA

在NUMA (Non-Uniform Memory Access)架构下,多个处理器被划分到不同 Node 上,且每个 Node 都拥有自己的本地内存空间。而同一个 Node 内部的内存空间,实际上又可以进一步分为不同的内存域(Zone),比如直接内存访问区(DMA)、普通内存区(NORMAL)、伪内存区(MOVABLE)等,如下图所示:

内存性能排查总结

可以通过numactl查看处理器在Node的分布情况

# numactl  --hardware available: 1 nodes (0) node 0 cpus: 0 1 node 0 size: 3543 MB node 0 free: 807 MB node distances: node   0   0:  10  

上面提到的阈值可以通过

 $ # cat /proc/zoneinfo  ... Node 0, zone   Normal   pages free     1075         min      790         low      987         high     1184         spanned  16384         present  16384         managed  16216         protection: (0, 0, 0)       nr_free_pages 1075       nr_zone_inactive_anon 247       nr_zone_active_anon 3523       nr_zone_inactive_file 3360       nr_zone_active_file 4488       nr_zone_unevictable 0       nr_zone_write_pending 2 ...  

pages 处的 min、low、high,就是上面提到的三个内存阈值,而 free 是剩余内存页数,它跟后面的 nr_free_pages 相同。nr_zone_active_anon 和 nr_zone_inactive_anon,分别是活跃和非活跃的匿名页数。nr_zone_active_file 和 nr_zone_inactive_file,分别是活跃和非活跃的文件页数

当然,某个 Node 内存不足时,系统可以从其他 Node 寻找空闲内存,也可以从本地内存中回收内存。具体选哪种模式,你可以通过 /proc/sys/vm/zone_reclaim_mode 来调整。它支持以下几个选项:

  • 默认的 0 ,也就是刚刚提到的模式,表示既可以从其他 Node 寻找空闲内存,也可以从本地回收内存。
  • 1、2、4 都表示只回收本地内存,2 表示可以回写脏数据回收内存,4 表示可以用 Swap 方式回收内存。

swappiness

回收的内存既包括了文件页,又包括了匿名页。

  • 对文件页的回收,当然就是直接回收缓存,或者把脏页写回磁盘后再回收。
  • 对匿名页的回收,其实就是通过 Swap 机制,把它们写入磁盘后再释放内存。

Linux 提供了一个 /proc/sys/vm/swappiness选项,用来调整使用 Swap 的积极程度。swappiness 的范围是 0-100,数值越大,越积极使用 Swap,也就是更倾向于回收匿名页;数值越小,越消极使用 Swap,也就是更倾向于回收文件页。虽然 swappiness 的范围是 0-100,不过要注意,这并不是内存的百分比,而是调整 Swap 积极程度的权重,即使你把它设置成 0,当剩余内存 + 文件页小于页高阈值时,还是会发生 Swap。

缺页异常

系统调用内存分配请求后,并不会立刻为其分配物理内存,而是在请求首次访问时,通过缺页异常来分配。缺页异常又分为下面两种场景。

  • 直接从物理内存中分配时,被称为次缺页异常。
  • 需要磁盘 I/O 介入(比如 Swap)时,被称为主缺页异常。

显然,主缺页异常升高,就意味着需要磁盘 I/O,那么内存访问也会慢很多。除了系统内存和进程内存。

常用工具

free

# free  -m               total        used        free      shared  buff/cache   available Mem:          15753         412        6388          21        8952       12642 Swap:             0           0           0  # 第一列,total 是总内存大小; # 第二列,used 是已使用内存的大小,包含了共享内存; # 第三列,free 是未使用内存的大小; # 第四列,shared 是共享内存的大小; # 第五列,buff/cache 是缓存和缓冲区的大小; # 最后一列,available 是新进程可用内存的大小。 

top

top - 14:53:12 up 3 days,  3:14,  1 user,  load average: 0.02, 0.01, 0.00 Tasks: 159 total,   1 running, 103 sleeping,   0 stopped,   0 zombie %Cpu(s):  0.0 us,  0.1 sy,  0.0 ni, 99.8 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st KiB Mem : 16131200 total,  6540160 free,   423488 used,  9167552 buff/cache KiB Swap:        0 total,        0 free,        0 used. 12944576 avail Mem # VIRT 是进程虚拟内存的大小,只要是进程申请过的内存,即便还没有真正分配物理内存,也会计算在内。 # RES 是常驻内存的大小,也就是进程实际使用的物理内存大小,但不包括 Swap 和共享内存。 # SHR 是共享内存的大小,比如与其他进程共同使用的共享内存、加载的动态链接库以及程序的代码段等。共享内存 SHR 并不一定是共享的,比方说,程序的代码段、非共享的动态链接库,也都算在 SHR 里。当然,SHR 也包括了进程间真正共享的内存。所以在计算多个进程的内存使用时,不要把所有进程的 SHR 直接相加得出结果。 # %MEM 是进程使用物理内存占系统总内存的百分比。 

vmstat

# vmstat -w 1 procs -----------------------memory---------------------- ---swap-- -----io---- -system-- --------cpu--------  r  b         swpd         free         buff        cache   si   so    bi    bo   in   cs  us  sy  id  wa  st  0  0            0      6537408       293312      8881536    0    0     0     3   12    0   0   0 100   0   0  0  0            0      6537472       293312      8881536    0    0     0     0  139  204   0   0 100   0   0  0  0            0      6537152       293312      8881536    0    0     0    16  137  210   0   0 100   0   0    # buff 和 cache 就是我们前面看到的 Buffers 和 Cache,单位是 KB。  # bi 和 bo 则分别表示块设备读取和写入的大小,单位为块 / 秒。因为 Linux 中块的大小是 1KB,所以这个单位也就等价于 KB/s。 

/proc/<pid>/smaps

# awk '/Pss:/{ sum += $2; }   END { print sum }' /proc/3396/smaps  # /proc/<pid>/smaps中的Pss相加,因为Pss是私有内存+共享内存按比例属于自己计算的那一部分;比如私有内存是200k, 共享内存500k和4个其它进程共享,那么是Pss就是200k+(500/(1+4))=200k+100k=300k。 这样所有进程的Pss相加就不会有重复相加的顾虑; 

bcc-tools

安装步骤如下:

# dnf install bcc-tools *header* -y # export PATH=$PATH:/usr/share/bcc/tools # bcc 软件包默认不会把这些工具配置到系统的 PATH 路径中 

bcc-tools 需要内核版本为 4.1 或者更新的版本,

cachestat

# cachestat 1 3    TOTAL   MISSES     HITS  DIRTIES   BUFFERS_MB  CACHED_MB        2        0        2        1           17        279        2        0        2        1           17        279        2        0        2        1           17        279  # TOTAL ,表示总的 I/O 次数; # MISSES ,表示缓存未命中的次数; # HITS ,表示缓存命中的次数; # DIRTIES, 表示新增到缓存中的脏页数; # BUFFERS_MB 表示 Buffers 的大小,以 MB 为单位; # CACHED_MB 表示 Cache 的大小,以 MB 为单位 

cachetop

# cachetop 11:58:50 Buffers MB: 258 / Cached MB: 347 / Sort: HITS / Order: ascending PID      UID      CMD              HITS     MISSES   DIRTIES  READ_HIT%  WRITE_HIT%    13029 root     python                  1        0        0     100.0%       0.0% 

输出跟 top 类似,默认按照缓存的命中次数(HITS)排序,展示了每个进程的缓存命中情况。具体到每一个指标,这里的 HITS、MISSES 和 DIRTIES ,跟 cachestat 里的含义一样,分别代表间隔时间内的缓存命中次数、未命中次数以及新增到缓存中的脏页数。 READ_HIT 和 WRITE_HIT ,分别表示读和写的缓存命中率。

sar

 # 间隔1秒输出一组数据 # -r表示显示内存使用情况,-S表示显示Swap使用情况 # sar -r -S 1 04:39:56    kbmemfree   kbavail kbmemused  %memused kbbuffers  kbcached  kbcommit   %commit  kbactive   kbinact   kbdirty 04:39:57      6249676   6839824   1919632     23.50    740512     67316   1691736     10.22    815156    841868         4  04:39:56    kbswpfree kbswpused  %swpused  kbswpcad   %swpcad 04:39:57      8388604         0      0.00         0      0.00  04:39:57    kbmemfree   kbavail kbmemused  %memused kbbuffers  kbcached  kbcommit   %commit  kbactive   kbinact   kbdirty 04:39:58      6184472   6807064   1984836     24.30    772768     67380   1691736     10.22    847932    874224        20  04:39:57    kbswpfree kbswpused  %swpused  kbswpcad   %swpcad 04:39:58      8388604         0      0.00         0      0.00  …   04:44:06    kbmemfree   kbavail kbmemused  %memused kbbuffers  kbcached  kbcommit   %commit  kbactive   kbinact   kbdirty 04:44:07       152780   6525716   8016528     98.13   6530440     51316   1691736     10.22    867124   6869332         0  04:44:06    kbswpfree kbswpused  %swpused  kbswpcad   %swpcad 04:44:07      8384508      4096      0.05        52      1.27 

sar 的输出结果是两个表格,第一个表格表示内存的使用情况,第二个表格表示 Swap 的使用情况。其中,各个指标名称前面的 kb 前缀,表示这些指标的单位是 KB。陌生的几个指标说明如下:

  • kbcommit,表示当前系统负载需要的内存。它实际上是为了保证系统内存不溢出,对需要内存的估计值。%commit,就是这个值相对总内存的百分比。
  • kbactive,表示活跃内存,也就是最近使用过的内存,一般不会被系统回收。
  • kbinact,表示非活跃内存,也就是不常访问的内存,有可能会被系统回收。

smem

# smem -t   PID User     Command                         Swap      USS      PSS      RSS 18451 root     sleep 1                            0      576      637     1984  1655 root     /sbin/agetty --noclear tty1        0      640      715     2176  1656 root     /sbin/agetty --keep-baud 11        0      640      743     2496 16652 root     bash -c while [ -d /proc/$P        0      896     1245     3520  1311 root     /CloudResetPwdUpdateAgent/b        0     1728     1776     3264   690 root     /usr/sbin/irqbalance --fore        0     1664     1876     4032  1649 root     /usr/sbin/atd -f                   0     1920     2004     4096  1651 root     /usr/sbin/crond -n                 0     2112     2211     4416  3488 root     -bash                              0     2240     2708     5376   699 root     /usr/lib/systemd/systemd-lo        0     2624     2712     4800 27005 root     -bash                              0     2304     2772     5440   656 root     /sbin/auditd                       0     3264     3351     5248   553 root     /usr/lib/systemd/systemd-ud        0     3264     3441     5760   708 chrony   /usr/sbin/chronyd                  0     3392     3563     6144   691 dbus     /usr/bin/dbus-daemon --syst        0     3968     4309     7488  3517 root     /usr/libexec/openssh/sftp-s        0     4224     4520     8640 27034 root     /usr/libexec/openssh/sftp-s        0     4224     4520     8640  3396 root     top                                0     4480     4722     8000   997 root     /usr/libexec/postfix/master        0     5376     5647     9216 25720 postfix  pickup -l -t unix -u               0     5568     6057    10816   999 postfix  qmgr -l -t unix -u                 0     5568     6089    10880     1 root     /usr/lib/systemd/systemd --        0     5888     6092     8704  1645 root     /usr/sbin/sshd -D                  0     6656     7260    13824   534 root     /usr/lib/systemd/systemd-jo        0     5248     7267    11392  1010 root     /usr/sbin/rsyslogd -n              0     5760     7838    12800   856 root     /sbin/dhclient -d -q -sf /u        0     8832     9250    14464 18453 root     python /usr/bin/smem -t            0     9984    10079    12096  3486 root     sshd: [email protected]                   0     9472    10804    19648 27003 root     sshd: [email protected]                   0     9472    10804    19648  3479 root     sshd: [email protected]/1                   0     9472    10836    19712 27000 root     sshd: [email protected]/0                   0     9472    10836    19712   692 polkitd  /usr/lib/polkit-1/polkitd -        0    11840    13243    18496   703 root     /usr/sbin/NetworkManager --        0    13504    15014    22464  1308 root     python /usr/bin/denyhosts.p        0    14400    15422    19392   719 root     /usr/bin/python2 -Es /usr/s        0    23424    25366    32768  1443 root     /CloudResetPwdUpdateAgent/d        0    89280    89485    91904 -------------------------------------------------------------------------------    36 5                                           0   293376   315214   459456  

排查方向套路

指标思维导图如下:

内存性能排查总结

根据指标找工具:

内存性能排查总结

根据工具找指标

内存性能排查总结

分析思路

内存性能排查总结

排查方向套路

指标思维导图如下:

[外链图片转存中…(img-CHlHuuBR-1597912078886)]

根据指标找工具:

[外链图片转存中…(img-j3a99ES2-1597912078889)]

根据工具找指标

[外链图片转存中…(img-PEXu43qn-1597912078894)]

分析思路

[外链图片转存中…(img-mROO7K3g-1597912078898)]

参考文档

  • 《极客时间:Linux性能优化实战》,作者:倪鹏飞

本文转自互联网,侵权联系删除内存性能排查总结

赞(0) 打赏
部分文章转自网络,侵权联系删除b2bchain区块链学习技术社区 » 内存性能排查总结
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

b2b链

联系我们联系我们