Reset Search
 

 

Article

Built-in python scripts in EXOS to help troubleshoot cpu and/or memory related issues

« Go Back

Information

 
TitleBuilt-in python scripts in EXOS to help troubleshoot cpu and/or memory related issues
Objective
There are two python scripts that come with EXOS 15.7 or later, that are very useful in troubleshooting the issues related to cpu and/or memory.
  • spath-stats.py
  • mem-stats.py
Environment
  • EXOS 15.7 or later
Procedure
"spath-stats.py" is the script to collect and sort statistics of traffic bound for and originated from the CPU, from all the aspects of port/vlan/kernel in the system.
 
# run script spath-stats.py

##[ Collecting slow-path statistics ]###################################
- Layer 2 slow-path statistics...
- Layer 3 slow-path statistics...
- ExPkt slow-path statistics...
- BCM slow-path statistics...

##[ Layer 2 slow-path statistics ]######################################
--[ Sorted by PPS ]-----------------------------------------------------
[ VLAN ]                                     [ PPS ]           [ TOTAL ]
> receive
Mgmt                                               3             1836602

> snoopData
V210-DCESRV-CP                                     2             2023748
V122-DCESRV-FS                                     2             2023748
V42-DCESRV-CP                                      2             2023748

--[ Sorted by Total ]---------------------------------------------------
[ VLAN ]                                                       [ TOTAL ]
> learn
V190-DCESRV-FS                                                      2237
V195-DCESRV-FS                                                      1124
V191-DCESRV-FS                                                      1124

> receive
Mgmt                                                             1836602
ISC                                                              1211821
V190-DCESRV-FS                                                      2237
V195-DCESRV-FS                                                      1124
V193-DCESRV-FS                                                      1124
V191-DCESRV-FS                                                      1124

> snoopControl
V210-DCESRV-CP                                                     20413
V196-DCESRV-FS                                                     20327
V42-DCESRV-CP                                                      20311
V192-DCESRV-FS                                                     20280

> snoopData
V42-DCESRV-CP                                                    2023748
V122-DCESRV-FS                                                   2023748
V210-DCESRV-CP                                                   2023748
V194-DCESRV-FS                                                   1011874

##[ Layer 3 slow-path statistics (vrIpStats) ]##########################
--[ Sorted by PPS ]-----------------------------------------------------
[ COUNTER ]                                  [ PPS ]           [ TOTAL ]
IpOutRequests                                     18            14651947
IpInReceives                                      14            13979719
IpInDelivers                                      14            13979719
IpInMulticast                                     12            12767882
IpInUnicast                                        2             1211837

--[ Sorted by Total ]---------------------------------------------------
[ COUNTER ]                                                    [ TOTAL ]
IpOutRequests                                                   14651947
IpInDelivers                                                    13979719
IpInReceives                                                    13979719
IpInMulticast                                                   12767882
IpInUnicast                                                      1211837

##[ Layer 3 slow-path statistics (mcmDebug) ]###########################
--[ Sorted by PPS ]-----------------------------------------------------
- None found

--[ Sorted by Total ]---------------------------------------------------
[ COUNTER ]                                                    [ TOTAL ]
igmpv2JoinRecv                                                    206233
igmpQueryRecv                                                      80950
igmpQueryOut                                                       76794

##[ Layer 3 slow-path statistics (ifIpStats) ]##########################
--[ Sorted by PPS ]-----------------------------------------------------
[ VLAN ]                                     [ PPS ]           [ TOTAL ]
> rxMulticast
V210-DCESRV-CP                                     4             2056138
V42-DCESRV-CP                                      4             2056133
V250-DCESRV-FS                                     2             1044257

> rxPackets
V210-DCESRV-CP                                     4             2056138
ISC                                                2             1246683
V122-DCESRV-FS                                     2             2056136

> txMulticast
v500                                               4              992502
V469-DCESRV-INF                                    2             2035893
V451-DCESRV-CP                                     2             2036027

> txPackets
v500                                               4              992502
ISC                                                2             1229313
V469-DCESRV-INF                                    2             2035893

--[ Sorted by Total ]---------------------------------------------------
[ VLAN ]                                                       [ TOTAL ]
> rxMulticast
V210-DCESRV-CP                                                   2056138
V122-DCESRV-FS                                                   2056136
V42-DCESRV-CP                                                    2056133
ISC                                                                34860

> rxPackets
V210-DCESRV-CP                                                   2056138
V122-DCESRV-FS                                                   2056136
V42-DCESRV-CP                                                    2056133
ISC                                                              1246683

> txMulticast
V43-DCESRV-CP                                                    2044041
V451-DCESRV-CP                                                   2036027
V193-DCESRV-FS                                                   1032170

> txPackets
V43-DCESRV-CP                                                    2044041
V451-DCESRV-CP                                                   2036027
V469-DCESRV-INF                                                  2035893
ISC                                                              1229313

##[ ExtremeXOS packet interface statistics (ExPkt) ]####################
--[ Sorted by PPS ]-----------------------------------------------------
[ PORT ]                                     [ PPS ]           [ TOTAL ]
> rx_count
1:47                                              12            16569747

> tx_count
1:47                                              25            19562909

--[ Sorted by Total ]---------------------------------------------------
[ PORT ]                                                       [ TOTAL ]
> rx_count
1:47                                                            16569747
1:0                                                              1837078
1:48                                                             1298345

> tx_count
1:47                                                            19562909
1:45                                                             1605565
1:48                                                             1297802

##[ BCM slow-path statistics ]##########################################
--[ Sorted by PPS ]-----------------------------------------------------
[ COUNTER ]                                  [ PPS ]           [ TOTAL ]
rx_pkts_received                                  21            18005598
rx_pkts_copy                                      21            18005598
tx_callbacks                                      18            22669753
tx_calls                                          18            22670449

--[ Sorted by Total ]---------------------------------------------------
[ COUNTER ]                                                    [ TOTAL ]
tx_calls                                                        22670449
tx_packets_request                                              22670449
tx_packets_transmitted                                          22670449
tx_callbacks                                                    22669753

"mem-stats.py" is the script to collect and sort statistics of memory utilization in the system, from all the aspects of EXOS and kernel.
 
# run script mem-stats.py

##[ Baseline ]##########################################################
- Baseline found     : /usr/local/cfg/mem-stats.pckl
- Current time       : 2017-04-11 22:56:35.433392
- Baseline time      : 2017-04-11 22:26:50.043674
- Min since baseline : 29.0

##[ Memory overview ]###################################################
[ COUNTER ]                                  [ MEM (KB) ]   [ BASELINE ]
MemFree                                            478544           -756
MemFreeAct                                         756600           -692
MemTotal                                          1021512              0
Slab                                                70400            216

##[ Processes ]#########################################################
--[ Sorted by memory allocation ]---------------------------------------
[ PID ] [ PROCESS ]                          [ MEM (KB) ]   [ BASELINE ]
1484    cliMaster                                   21476              0
1480    hal                                         14332              0
1662    vmt                                         11948             16
1673    erps                                        11436              0
2005    exsh                                         5792              0

--[ Sorted by increased memory allocation ]-----------------------------
[ PID ] [ PROCESS ]                          [ MEM (KB) ]   [ BASELINE ]
1662    vmt                                         11948             16
1536    stp                                          2776              0
1       init                                          660              0
1666    vsm                                          2408              0
1540    rtmgr                                        4004              0
1110    epm                                          2656              0

##[ Kernel slab cache ]#################################################
--[ Sorted by slabs ]---------------------------------------------------
[ NAME ]                         [ SLABS ]  [ SIZE (KB) ]   [ BASELINE ]
buffer_head                           4232          16928              0
jffs2_refblock                        1067           4268              0
size-4096                              898           3592             43
dentry                                 429           1716              0
--[ Sorted by cache size ]----------------------------------------------
[ NAME ]                         [ SLABS ]  [ SIZE (KB) ]   [ BASELINE ]
buffer_head                           4232          16928              0
size-32768                             156           4992              0
jffs2_refblock                        1067           4268              0
size-16384                             253           4048              0
size-4096                              898           3592             43
--[ Sorted by increased slabs ]-----------------------------------------
[ NAME ]                         [ SLABS ]  [ SIZE (KB) ]   [ BASELINE ]
size-4096                              898           3592             43
jffs2_i                                408           1632              1
shmem_inode_cache                        2              8              0
rpc_inode_cache                          0              0              0
size-256                                17             68              0
buffer_head                           4232          16928              0
Additional notes
These outputs would be of great help along with the show tech output in troubleshooting the issues exhibiting unexpected CPU overutilization or gradual memory leakage.

Feedback

 

Was this article helpful?


   

Feedback

Please tell us how we can make this article more useful.

Characters Remaining: 255