options

Loops Index

Columns Filter

Level Max Thread Time / Walltime 1x1 (%) Max Thread Time / Walltime 1x2 (%) Max Thread Time / Walltime 1x4 (%) Max Thread Time / Walltime 1x8 (%) Max Thread Time / Walltime 1x16 (%) Max Thread Time / Walltime 1x24 (%) Max Thread Time / Walltime 1x32 (%) Max Thread Time / Walltime 1x40 (%) Max Thread Time / Walltime 1x48 (%) Max Thread Time / Walltime 1x56 (%) Max Thread Time / Walltime 1x64 (%) Exclusive Coverage 1x1 (%) Exclusive Coverage 1x2 (%) Exclusive Coverage 1x4 (%) Exclusive Coverage 1x8 (%) Exclusive Coverage 1x16 (%) Exclusive Coverage 1x24 (%) Exclusive Coverage 1x32 (%) Exclusive Coverage 1x40 (%) Exclusive Coverage 1x48 (%) Exclusive Coverage 1x56 (%) Exclusive Coverage 1x64 (%) Inclusive Coverage 1x1 (%) Inclusive Coverage 1x2 (%) Inclusive Coverage 1x4 (%) Inclusive Coverage 1x8 (%) Inclusive Coverage 1x16 (%) Inclusive Coverage 1x24 (%) Inclusive Coverage 1x32 (%) Inclusive Coverage 1x40 (%) Inclusive Coverage 1x48 (%) Inclusive Coverage 1x56 (%) Inclusive Coverage 1x64 (%) Max Exclusive Time Over Threads 1x1 (s) Max Exclusive Time Over Threads 1x2 (s) Max Exclusive Time Over Threads 1x4 (s) Max Exclusive Time Over Threads 1x8 (s) Max Exclusive Time Over Threads 1x16 (s) Max Exclusive Time Over Threads 1x24 (s) Max Exclusive Time Over Threads 1x32 (s) Max Exclusive Time Over Threads 1x40 (s) Max Exclusive Time Over Threads 1x48 (s) Max Exclusive Time Over Threads 1x56 (s) Max Exclusive Time Over Threads 1x64 (s) Max Inclusive Time Over Threads 1x1 (s) Max Inclusive Time Over Threads 1x2 (s) Max Inclusive Time Over Threads 1x4 (s) Max Inclusive Time Over Threads 1x8 (s) Max Inclusive Time Over Threads 1x16 (s) Max Inclusive Time Over Threads 1x24 (s) Max Inclusive Time Over Threads 1x32 (s) Max Inclusive Time Over Threads 1x40 (s) Max Inclusive Time Over Threads 1x48 (s) Max Inclusive Time Over Threads 1x56 (s) Max Inclusive Time Over Threads 1x64 (s) Exclusive Time w.r.t. Wall Time 1x1 (s) Exclusive Time w.r.t. Wall Time 1x2 (s) Exclusive Time w.r.t. Wall Time 1x4 (s) Exclusive Time w.r.t. Wall Time 1x8 (s) Exclusive Time w.r.t. Wall Time 1x16 (s) Exclusive Time w.r.t. Wall Time 1x24 (s) Exclusive Time w.r.t. Wall Time 1x32 (s) Exclusive Time w.r.t. Wall Time 1x40 (s) Exclusive Time w.r.t. Wall Time 1x48 (s) Exclusive Time w.r.t. Wall Time 1x56 (s) Exclusive Time w.r.t. Wall Time 1x64 (s) Inclusive Time w.r.t. Wall Time 1x1 (s) Inclusive Time w.r.t. Wall Time 1x2 (s) Inclusive Time w.r.t. Wall Time 1x4 (s) Inclusive Time w.r.t. Wall Time 1x8 (s) Inclusive Time w.r.t. Wall Time 1x16 (s) Inclusive Time w.r.t. Wall Time 1x24 (s) Inclusive Time w.r.t. Wall Time 1x32 (s) Inclusive Time w.r.t. Wall Time 1x40 (s) Inclusive Time w.r.t. Wall Time 1x48 (s) Inclusive Time w.r.t. Wall Time 1x56 (s) Inclusive Time w.r.t. Wall Time 1x64 (s) Nb Threads 1x1 Nb Threads 1x2 Nb Threads 1x4 Nb Threads 1x8 Nb Threads 1x16 Nb Threads 1x24 Nb Threads 1x32 Nb Threads 1x40 Nb Threads 1x48 Nb Threads 1x56 Nb Threads 1x64 Vectorization Ratio (%) Vector Length Use (%) Speedup If No Scalar Integer Speedup If FP Vectorized Speedup If Fully Vectorized Speedup If Perfect Load Balancing 1x1 Speedup If Perfect Load Balancing 1x2 Speedup If Perfect Load Balancing 1x4 Speedup If Perfect Load Balancing 1x8 Speedup If Perfect Load Balancing 1x16 Speedup If Perfect Load Balancing 1x24 Speedup If Perfect Load Balancing 1x32 Speedup If Perfect Load Balancing 1x40 Speedup If Perfect Load Balancing 1x48 Speedup If Perfect Load Balancing 1x56 Speedup If Perfect Load Balancing 1x64 Stride 0 Stride 1 Stride n Stride Unknown Stride Indirect Array Access Efficiency (1x1) Efficiency (1x1) Potential Speed-Up (%) (1x2) Efficiency (1x2) Potential Speed-Up (%) (1x4) Efficiency (1x4) Potential Speed-Up (%) (1x8) Efficiency (1x8) Potential Speed-Up (%) (1x16) Efficiency (1x16) Potential Speed-Up (%) (1x24) Efficiency (1x24) Potential Speed-Up (%) (1x32) Efficiency (1x32) Potential Speed-Up (%) (1x40) Efficiency (1x40) Potential Speed-Up (%) (1x48) Efficiency (1x48) Potential Speed-Up (%) (1x56) Efficiency (1x56) Potential Speed-Up (%) (1x64) Efficiency (1x64) Potential Speed-Up (%) Level Max Thread Time / Walltime Exclusive Coverage Inclusive Coverage Max Exclusive Time Over Threads Max Inclusive Time Over Threads Exclusive Time w.r.t. Wall Time Inclusive Time w.r.t. Wall Time Nb Threads Vectorization Ratio Vector Length Use Speedup If No Scalar Integer Speedup If FP Vectorized Speedup If Fully Vectorized Speedup If Perfect Load Balancing Stride 0 Stride 1 Stride n Stride Unknown Stride Indirect Array Access Efficiency Efficiency Potential Speed-Up
Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Run 11
Loop idSource LocationSource FunctionLevelMax Thread Time / Walltime 1x1 (%)Max Thread Time / Walltime 1x2 (%)Max Thread Time / Walltime 1x4 (%)Max Thread Time / Walltime 1x8 (%)Max Thread Time / Walltime 1x16 (%)Max Thread Time / Walltime 1x24 (%)Max Thread Time / Walltime 1x32 (%)Max Thread Time / Walltime 1x40 (%)Max Thread Time / Walltime 1x48 (%)Max Thread Time / Walltime 1x56 (%)Max Thread Time / Walltime 1x64 (%)Exclusive Coverage 1x1 (%)Exclusive Coverage 1x2 (%)Exclusive Coverage 1x4 (%)Exclusive Coverage 1x8 (%)Exclusive Coverage 1x16 (%)Exclusive Coverage 1x24 (%)Exclusive Coverage 1x32 (%)Exclusive Coverage 1x40 (%)Exclusive Coverage 1x48 (%)Exclusive Coverage 1x56 (%)Exclusive Coverage 1x64 (%)Inclusive Coverage 1x1 (%)Inclusive Coverage 1x2 (%)Inclusive Coverage 1x4 (%)Inclusive Coverage 1x8 (%)Inclusive Coverage 1x16 (%)Inclusive Coverage 1x24 (%)Inclusive Coverage 1x32 (%)Inclusive Coverage 1x40 (%)Inclusive Coverage 1x48 (%)Inclusive Coverage 1x56 (%)Inclusive Coverage 1x64 (%)Max Exclusive Time Over Threads 1x1 (s)Max Exclusive Time Over Threads 1x2 (s)Max Exclusive Time Over Threads 1x4 (s)Max Exclusive Time Over Threads 1x8 (s)Max Exclusive Time Over Threads 1x16 (s)Max Exclusive Time Over Threads 1x24 (s)Max Exclusive Time Over Threads 1x32 (s)Max Exclusive Time Over Threads 1x40 (s)Max Exclusive Time Over Threads 1x48 (s)Max Exclusive Time Over Threads 1x56 (s)Max Exclusive Time Over Threads 1x64 (s)Max Inclusive Time Over Threads 1x1 (s)Max Inclusive Time Over Threads 1x2 (s)Max Inclusive Time Over Threads 1x4 (s)Max Inclusive Time Over Threads 1x8 (s)Max Inclusive Time Over Threads 1x16 (s)Max Inclusive Time Over Threads 1x24 (s)Max Inclusive Time Over Threads 1x32 (s)Max Inclusive Time Over Threads 1x40 (s)Max Inclusive Time Over Threads 1x48 (s)Max Inclusive Time Over Threads 1x56 (s)Max Inclusive Time Over Threads 1x64 (s)Exclusive Time w.r.t. Wall Time 1x1 (s)Exclusive Time w.r.t. Wall Time 1x2 (s)Exclusive Time w.r.t. Wall Time 1x4 (s)Exclusive Time w.r.t. Wall Time 1x8 (s)Exclusive Time w.r.t. Wall Time 1x16 (s)Exclusive Time w.r.t. Wall Time 1x24 (s)Exclusive Time w.r.t. Wall Time 1x32 (s)Exclusive Time w.r.t. Wall Time 1x40 (s)Exclusive Time w.r.t. Wall Time 1x48 (s)Exclusive Time w.r.t. Wall Time 1x56 (s)Exclusive Time w.r.t. Wall Time 1x64 (s)Inclusive Time w.r.t. Wall Time 1x1 (s)Inclusive Time w.r.t. Wall Time 1x2 (s)Inclusive Time w.r.t. Wall Time 1x4 (s)Inclusive Time w.r.t. Wall Time 1x8 (s)Inclusive Time w.r.t. Wall Time 1x16 (s)Inclusive Time w.r.t. Wall Time 1x24 (s)Inclusive Time w.r.t. Wall Time 1x32 (s)Inclusive Time w.r.t. Wall Time 1x40 (s)Inclusive Time w.r.t. Wall Time 1x48 (s)Inclusive Time w.r.t. Wall Time 1x56 (s)Inclusive Time w.r.t. Wall Time 1x64 (s)Nb Threads 1x1Nb Threads 1x2Nb Threads 1x4Nb Threads 1x8Nb Threads 1x16Nb Threads 1x24Nb Threads 1x32Nb Threads 1x40Nb Threads 1x48Nb Threads 1x56Nb Threads 1x64Vectorization Ratio (%)Vector Length Use (%)Speedup If No Scalar IntegerSpeedup If FP VectorizedSpeedup If Fully VectorizedSpeedup If Perfect Load Balancing 1x1Speedup If Perfect Load Balancing 1x2Speedup If Perfect Load Balancing 1x4Speedup If Perfect Load Balancing 1x8Speedup If Perfect Load Balancing 1x16Speedup If Perfect Load Balancing 1x24Speedup If Perfect Load Balancing 1x32Speedup If Perfect Load Balancing 1x40Speedup If Perfect Load Balancing 1x48Speedup If Perfect Load Balancing 1x56Speedup If Perfect Load Balancing 1x64Stride 0Stride 1Stride nStride UnknownStride IndirectArray Access Efficiency(1x1) Efficiency(1x1) Potential Speed-Up (%)(1x2) Efficiency(1x2) Potential Speed-Up (%)(1x4) Efficiency(1x4) Potential Speed-Up (%)(1x8) Efficiency(1x8) Potential Speed-Up (%)(1x16) Efficiency(1x16) Potential Speed-Up (%)(1x24) Efficiency(1x24) Potential Speed-Up (%)(1x32) Efficiency(1x32) Potential Speed-Up (%)(1x40) Efficiency(1x40) Potential Speed-Up (%)(1x48) Efficiency(1x48) Potential Speed-Up (%)(1x56) Efficiency(1x56) Potential Speed-Up (%)(1x64) Efficiency(1x64) Potential Speed-Up (%)
2365libggml-cpu.so - quants.c:1089-1112 [...]ggml_vec_dot_q8_0_q8_0Single78.8377.8477.9079.4077.0178.1977.7976.6177.9177.8577.9880.4880.7679.3980.1579.2079.0179.6480.1779.8180.8079.6680.4880.7679.3980.1579.2079.0179.6480.1779.8180.8079.6613.3913.2613.3013.5113.1513.4013.3013.1013.3113.2913.3113.3913.2613.3013.5113.1513.4013.3013.1013.3113.2913.3112.9213.0512.7712.9212.7812.7712.8012.9712.9312.9912.7912.9213.0512.7712.9212.7812.7712.8012.9712.9312.9912.7964646464646464646464645034.821.21.332.251.071.051.071.081.061.081.061.041.061.051.07000000.00100.990.81.010101.0101.0101.01010.2910.050.990.421.010
58libggml-cpu.so - ggml-cpu.c:1163-1198 [...]ggml_compute_forward_mul_matInBetween0.500.560.610.530.530.550.580.610.530.470.670.290.300.290.260.270.260.280.290.300.290.300.380.390.370.350.350.360.380.390.390.380.410.090.100.110.090.090.090.100.100.090.080.110.130.110.120.120.100.130.120.130.110.110.130.050.050.050.040.040.040.040.050.050.050.050.060.060.060.060.060.060.060.060.060.060.076464646464646464646464025.511121.892.052.332.172.142.292.282.331.911.772.42NANANANANA0.00100.970.01101.0801.0601.0901.030100.950.01100.950.02
75libggml-cpu.so - ggml-cpu.c:533-2897 [...]ggml_graph_compute_threadOutermost0.880.650.790.790.610.670.700.670.880.560.730.290.230.260.260.260.260.280.290.350.260.270.510.410.510.540.510.490.510.560.670.470.480.150.110.140.130.100.120.120.110.150.100.130.250.190.220.220.220.190.210.190.270.170.220.050.040.040.040.040.040.040.050.060.040.040.080.070.080.090.080.080.080.090.110.080.086363626362616263646162020.541183.292.993.263.32.522.642.682.482.762.242.91NANANANANA0.00101.2301.1201.1101.1101.0801.0400.980.010.820.061.1101.080
74libggml-cpu.so - ggml-cpu.c:533-2897 [...]ggml_graph_compute_threadInnermost0.590.470.640.710.880.580.560.580.820.500.590.220.180.250.280.250.230.230.260.320.210.220.220.180.250.280.250.230.230.260.320.210.220.100.080.110.120.150.100.100.100.140.090.100.100.080.110.120.150.100.100.100.140.090.100.040.030.040.040.040.040.040.040.050.030.030.040.030.040.040.040.040.040.040.050.030.035553575855555756585454025115.42.492.362.492.53.242.412.332.112.512.172.48NANANANANA0.00101.2300.880.030.790.060.860.030.970.010.950.010.830.050.680.11.0501.020
1840libggml-cpu.so - vec.h:375-751 [...]ggml_compute_forward_flash_attn_extInBetween0.680.560.730.710.670.760.560.640.700.620.590.180.190.210.220.200.210.200.220.210.210.210.300.320.350.360.330.350.340.350.340.370.360.120.090.130.120.120.130.090.110.120.100.100.160.160.210.170.170.160.160.190.200.180.160.030.030.030.040.030.030.030.030.030.030.030.050.050.060.060.050.060.050.060.050.060.0632323332323332323232325.6521.882.251.961.232.031.61.921.731.872.031.531.621.861.561.52NANANANANA0.00100.950.010.850.030.820.040.920.020.860.030.920.020.830.040.880.030.850.030.870.03
2366libggml-cpu.so - quants.c:910-948 [...]ggml_vec_dot_q8_0_q8_0Single0.210.210.200.210.200.200.200.200.200.210.210.180.180.170.180.160.160.160.180.180.180.170.180.180.170.180.160.160.160.180.180.180.170.040.040.040.040.040.040.040.040.040.040.040.040.040.040.040.040.040.040.040.040.040.040.030.030.030.030.030.030.030.030.030.030.030.030.030.030.030.030.030.030.030.030.030.03646464646464646464646481.2542.1911.072.441.251.221.311.241.371.361.351.251.221.261.310007050.00100.970.011.0500.9801.0901.0801.080100.970.011.0101.040
857libggml-cpu.so - vec.cpp:311-316ggml_vec_dot_f16Single0.500.440.470.500.590.580.530.580.560.470.440.140.140.160.140.160.150.160.160.170.170.150.140.140.160.140.160.150.160.160.170.170.150.090.080.080.090.100.100.090.100.090.080.080.090.080.080.090.100.100.090.100.090.080.080.020.020.030.020.030.020.020.030.030.030.020.020.020.030.020.030.020.020.030.030.030.02323232323232323333323210075121.221.91.721.631.892.012.081.852.121.831.51.6120000100.00101.0300.910.010.9900.90.020.930.010.920.010.920.010.830.030.840.030.970.01
1852libggml-cpu.so - vec.h:491-497ggml_compute_forward_flash_attn_extInnermost0.410.470.470.470.410.530.470.440.610.530.410.120.130.140.140.130.140.140.140.130.150.150.120.130.140.140.130.140.140.140.130.150.150.070.080.080.080.070.090.080.080.110.090.070.070.080.080.080.070.090.080.080.110.090.070.020.020.020.020.020.020.020.020.020.020.020.020.020.020.020.020.020.020.020.020.020.023232323232323232323232100801211.891.951.841.841.72.041.811.752.511.891.4920000100.00100.90.010.850.020.850.020.90.010.840.020.840.020.860.020.880.020.780.030.790.03
54libggml-cpu.so - ggml-cpu.c:1183-1194 [...]ggml_compute_forward_mul_matInnermost0.240.210.200.260.230.260.230.230.180.230.180.090.090.090.090.080.100.100.100.090.100.100.090.090.090.090.080.100.100.100.090.100.100.040.040.040.050.040.040.040.040.030.040.030.040.040.040.050.040.040.040.040.030.040.030.020.020.010.010.010.020.020.020.010.020.020.020.020.010.010.010.020.020.020.010.020.026160626053606462566163027.271142.582.232.523.12.72.72.532.491.922.541.8110000100.0010101.101.0801.200.940.010.940.010.950.011.0700.9900.910.01
2350libggml-cpu.so - ggml-impl.h:355-404 [...]quantize_row_q8_0Single0.210.230.200.210.200.200.180.290.230.230.260.090.090.080.090.090.100.090.110.100.100.090.090.090.080.090.090.100.090.110.100.100.090.040.040.040.040.040.030.030.050.040.040.050.040.040.040.040.040.030.030.050.040.040.050.010.010.010.010.010.020.020.020.020.020.020.010.010.010.010.010.020.020.020.020.020.02616152606262626261616070.2139.741.131.331.892.472.652.222.272.352.071.982.922.482.52.84000000.00100.940.011.0600.930.010.930.010.820.020.920.010.810.020.870.010.890.010.910.01
1536libggml-cpu.so - ops.cpp:6220-6245 [...]ggml_compute_forward_rope_f32(ggml_compute_params const*, ggml_tensor*, bool)Innermost0.180.180.180.210.200.230.230.150.230.120.120.070.060.070.070.070.070.070.060.070.060.060.070.060.070.070.070.070.070.060.070.060.060.030.030.030.040.040.040.040.020.040.020.020.030.030.030.040.040.040.040.020.040.020.020.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.01555459545455565460565727.2718.18126.12.292.872.442.682.723.173.342.293.51.842.022001083.33101.2700.9901.0201.0301.0301.0801.2201.0501.1801.280
53libggml-cpu.so - ggml-cpu.c:1125-1395 [...]ggml_compute_forward_mul_matInnermost0.120.120.090.150.120.090.090.090.150.150.090.040.030.030.030.030.020.030.030.030.040.030.040.030.030.030.030.020.030.030.030.040.030.020.020.020.030.020.020.020.020.030.030.020.020.020.020.030.020.020.020.020.030.030.020.010.010.000.000.010.000.010.010.000.010.010.010.010.000.000.010.000.010.010.000.010.014242343238374043344944026.521122.052.511.822.962.172.271.851.842.882.992NANANANANA0.00101.2201.4701.5101.1701.6701.2701.1701.380101.250
865libggml-cpu.so - vec.h:1045-1072 [...]ggml_vec_swiglu_f32Single1.411.351.641.941.791.461.611.491.701.261.140.020.020.030.030.030.020.030.030.030.020.020.020.020.030.030.030.020.030.030.030.020.020.240.230.280.330.300.250.280.250.290.210.200.240.230.280.330.300.250.280.250.290.210.200.000.000.000.010.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.002221211321285.4246.351.031.381.661.961.961.9611.97112.891.9711.9521000100.00101.0400.8600.740.010.790.010.9800.8900.9200.830.011.1401.230
57libggml-cpu.so - ggml-cpu.c:1162-1198 [...]ggml_compute_forward_mul_matInBetween0.060.060.090.120.060.030.090.090.090.060.090.020.010.010.010.010.010.010.010.020.010.020.400.400.390.370.360.370.390.400.410.390.430.010.010.010.020.010.010.020.020.020.010.010.130.090.090.110.090.090.120.110.110.110.140.000.000.000.000.000.000.000.000.000.000.000.060.060.060.060.060.060.060.060.070.060.0726141719192119203019280251141.731.652.122.811.912.592.222.51.812.33NANANANANA0.00101.7601.2501.1101.4901.4301.3701.1100.8301.4300.840
0libggml-cpu.so - ggml-cpu.c:3228-3229 [...]ggml_cpu_fp32_to_fp16Single0.350.180.120.210.120.090.180.180.150.260.230.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.060.030.020.040.020.010.030.030.030.040.040.060.030.020.040.020.010.030.030.030.040.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0014121317131610917101297.2250.6911.03263.792.894.583.062.43.533.63.755.0520000100.00101.4701.5601.0701.6401.401.6501.8601.2101.5601.480
1531libggml-cpu.so - ops.cpp:6446-6456 [...]ggml_compute_forward_rope_f32(ggml_compute_params const*, ggml_tensor*, bool)Innermost0.060.120.120.120.120.090.060.090.150.060.120.010.010.010.010.020.010.010.010.010.010.020.010.010.010.010.020.010.010.010.010.010.020.010.020.020.020.020.020.010.010.030.010.020.010.020.020.020.020.020.010.010.030.010.020.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0017191817201420158152354.5523.861.071.614.621.482.532.882.342.4221.62.52.671.432.710102066.67100.7600.9200.7900.690.011.0900.9201.2701.5301.100.680.01
484libggml-cpu.so - binary-ops.cpp:18-32 [...]ggml_compute_forward_mulInnermost0.680.320.440.410.640.500.790.470.530.410.620.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.120.050.080.070.110.090.130.080.090.070.100.120.050.080.070.110.090.130.080.090.070.100.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0011111111121014.471181111111111.8710003050.00102.0801.5301.6401.0401.3500.8601.4301.2701.5401.10
60libggml-cpu.so - ggml-cpu.c:1289-1297ggml_compute_forward_mul_matInnermost0.060.060.060.060.060.060.060.060.060.060.120.010.020.010.010.010.010.010.010.010.010.010.010.020.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.020.010.010.010.010.010.010.010.010.010.010.020.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0018252015151324151415130251121.81.611.91.761.671.631.921.881.751.762.61001075.00100.640.010.9501.1701.1101.2500.801.2501.2401.18010
1527libggml-cpu.so - ops.cpp:6210-6462 [...]ggml_compute_forward_rope_f32(ggml_compute_params const*, ggml_tensor*, bool)InBetween0.030.060.060.030.060.060.060.060.060.060.030.010.010.010.010.010.010.010.010.010.010.010.080.060.080.080.080.080.070.070.080.070.060.010.010.010.010.010.010.010.010.010.010.010.040.030.030.040.040.040.030.030.030.030.030.000.000.000.000.000.000.000.000.000.000.000.010.010.010.010.010.010.010.010.010.010.0116101111141311131614156.5826.155.921.454.2111.821.8311.871.631.831.731.781.751NANANANANA0.00101.4501.3301.4501.060101.3401.0600.880101.070
347libggml-cpu.so - traits.cpp:13-17 [...]ggml_cpu_extra_compute_forwardSingle0.030.030.060.030.060.030.030.030.060.030.030.010.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.010.010.010.010.010.010.000.000.010.010.010.010.010.010.010.010.010.000.000.010.010.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00137459645786025114111.611.81111.75110102074.38101.8502.602.5901.2902.1603.2602.5901.6201.6302.170
380libggml-cpu.so - binary-ops.cpp:10-32 [...]ggml_compute_forward_add_non_quantizedInnermost0.260.470.380.620.230.380.410.470.380.440.560.000.010.010.010.000.010.010.010.010.010.010.000.010.010.010.000.010.010.010.010.010.010.050.080.060.110.040.060.070.080.060.070.100.050.080.060.110.040.060.070.080.060.070.100.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0011111111111015118111111111110003050.00100.5600.6900.430.011.1200.6900.6500.5600.6900.600.470
56libggml-cpu.so - ggml-cpu.c:1162-1198 [...]ggml_compute_forward_mul_matInBetween0.030.030.030.030.030.030.060.030.060.030.030.000.000.010.000.000.000.010.000.010.000.000.400.400.390.370.360.380.400.400.410.400.430.010.000.010.010.010.010.010.010.010.010.000.090.090.100.100.080.090.090.100.090.110.140.000.000.000.000.000.000.000.000.000.000.000.060.060.060.060.060.060.060.070.070.060.0761117899910970251141111111.511.8211NANANANANA0.00105.9800.5500.8500.7500.6700.500.6600.5400.6700.860
97libggml-cpu.so - ggml-cpu.cpp:39-63 [...]ggml_backend_cpu_get_extra_buffer_types()Single0.060.030.030.030.030.030.030.030.030.030.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.010.010.010.000.000.000.000.010.010.000.010.010.010.010.000.000.000.000.010.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0051424212313031.251141.671111111111NANANANANA0.00105.9801.502.9901.490306.0202.9901.9906.02020
1858libggml-cpu.so - vec.h:677-682ggml_compute_forward_flash_attn_extInnermost0.030.030.060.030.060.030.090.060.060.060.030.000.000.010.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.010.000.010.010.010.010.010.010.010.010.010.010.000.010.010.010.010.010.010.010.010.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.005594546646710075121.13111.6411.6711.81.51.61.71110000100.0010100.4501.2500.8301.2500.500.6200.9900.7200.720
3223libllama.so - new_allocator.h:172-172 [...]std::_Hashtable<std::pair<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > >, std::pair<std::pai...Single0.150.120.090.090.030.090.060.060.120.090.090.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.030.020.010.010.000.010.010.010.020.010.020.030.020.010.010.000.010.010.010.020.010.020.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.001111111111102511411111111111NANANANANA0.00101.2501.6701.6604.9801.6602.5102.4901.2401.6701.670
55libggml-cpu.so - ggml-cpu.c:1125-1395 [...]ggml_compute_forward_mul_matOutermost0.030.030.060.030.060.030.060.060.030.030.060.000.000.000.000.000.000.000.000.000.000.000.440.430.420.400.400.410.430.440.440.440.470.010.010.010.010.010.010.010.010.000.000.010.080.090.100.110.090.070.090.100.100.070.140.000.000.000.000.000.000.000.000.000.000.000.070.070.070.060.060.070.070.070.070.070.0854945685629023.11112111.811.6711.781.67111.8NANANANANA0.00101.2500.501.2500.8300.8300.5600.8300.8302.5100.50
1528libggml-cpu.so - ops.cpp:6210-6484 [...]ggml_compute_forward_rope_f32(ggml_compute_params const*, ggml_tensor*, bool)Outermost0.030.030.060.060.060.030.060.090.060.060.060.000.010.010.000.010.000.010.000.010.010.000.090.080.100.090.100.090.090.080.090.090.090.010.010.010.010.010.010.010.010.010.010.010.040.030.040.040.050.040.050.030.030.030.040.000.000.000.000.000.000.000.000.000.000.000.020.010.020.020.020.010.010.010.020.010.0151110711911513118021.75114.8111.671.751.5711.691.881.621.691.78NANANANANA0.00100.4500.4200.6200.3600.5500.3900.6200.310.010.3900.560
3346exec - sampling.cpp:125-126common_sampler::set_logits(llama_context*, int)Single0.120.120.030.120.150.060.060.180.090.120.090.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.020.020.000.020.020.010.010.030.010.020.020.020.020.000.020.020.010.010.030.010.020.020.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00111111111117562.5111.37111111111110101075.00101040100.80202.0100.6601.330101.340
2499libllama.so - stl_heap.h:140-263 [...]llama_token_data_array_partial_sort_inplace(llama_token_data_array*, int)Outermost0.120.260.150.180.350.060.200.120.180.120.210.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.020.040.020.030.060.010.030.020.030.020.040.030.040.020.030.060.010.030.020.040.020.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0011111111111018.754.6715.7411111111111NANANANANA0.00100.4400.800.6600.330200.570100.660100.570
1294libggml-cpu.so - ops.cpp:4325-4326ggml_compute_forward_rms_normInnermost0.120.150.150.030.030.200.180.030.150.090.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.020.020.020.000.000.030.030.000.030.010.000.020.020.020.000.000.030.030.000.030.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.001111111111191.6747.9211.252.221111111111101000100.00100.800.803.9903.9800.5700.6703.9900.801.3404.010
1837libggml-cpu.so - vec.h:375-751 [...]ggml_compute_forward_flash_attn_extInBetween0.030.090.060.060.030.090.030.030.060.030.060.000.000.000.000.000.010.000.000.000.000.000.300.330.360.370.330.360.350.360.340.370.370.010.020.010.010.000.010.000.010.010.010.010.150.170.210.140.110.170.120.160.110.140.160.000.000.000.000.000.000.000.000.000.000.000.050.050.060.060.050.060.060.060.060.060.06365611264433025.772.011.341.3412.251.671.7112.12111.611.5NANANANANA0.00100.3700.500.4302.9900.180.010.500.7500.60100.750
62libggml-cpu.so - ggml-cpu.c:1289-1297ggml_compute_forward_mul_matOutermost0.030.030.030.000.030.030.060.030.030.030.060.000.000.000.000.000.000.000.000.000.000.000.010.020.010.000.010.010.020.010.010.010.010.010.010.000.000.000.010.010.000.010.010.010.020.010.000.000.010.010.010.000.010.010.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00321014313130251141110111.51111.51001075.00101.50302.9900.7500.7502.9900.9903.0100.750
61libggml-cpu.so - ggml-cpu.c:1289-1297ggml_compute_forward_mul_matInBetween0.030.030.030.030.030.030.030.030.030.030.030.000.000.000.000.000.000.000.000.000.000.000.010.020.010.010.010.010.010.010.010.010.010.010.010.010.010.010.010.000.010.010.010.010.010.020.010.010.010.010.010.010.010.010.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00334436441033026.79113.72111111111111001075.0010100.7500.750100.500.7500.7500.301010
1384exec - stl_algobase.h:401-405 [...]std::vector<std::__cxx11::sub_match<__gnu_cxx::__normal_iterator<char const*, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > > >, std::allocator<std::__cxx11::sub_match<__gnu_cxx::__no...Single0.060.090.000.060.030.030.030.090.060.060.060.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.010.000.010.000.000.000.010.010.010.010.010.010.000.010.000.000.000.010.010.010.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0011011111111019.53116.03110111111110020075.00100.660101.990202.0100.6600.9901010
3060libllama.so - hashtable.h:2077-2077 [...]std::__detail::_Map_base<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >, std::pair<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const, int>, st...Single0.060.030.000.000.030.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0011001000010025112110010000100002050.00101.9901.9902.010
3373libllama.so - hashtable.h:2077-2077 [...]std::_Hashtable<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >, std::pair<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const, unsigned char>, s...Single0.060.030.030.030.000.030.000.030.030.030.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0011110101111025112111101011110002050.00101.990201.990201.9901.9902.01020
1295libggml-cpu.so - vec.h:677-682ggml_compute_forward_rms_normInnermost0.060.000.060.030.030.060.060.090.030.030.060.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.010.000.000.010.010.010.000.000.010.010.000.010.000.000.010.010.010.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.001011111211110075121.1310111111.511110000100.0010101.9901.99010100.501.9902.01010
1438libggml-cpu.so - ops.cpp:5352-5517 [...]ggml_compute_forward_get_rowsOutermost0.030.030.030.000.000.030.000.030.030.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0021200201230028.7511211100101110NANANANANA0.00101.99010101.9900.9900.670
239libggml-cpu.so - repack.cpp:1968-1981 [...]ggml_backend_cpu_repack_buffer_type()Single0.030.000.000.000.000.030.030.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0010000110010031.2511410000110010NANANANANA0.0010101010
2935libllama.so - stl_tree.h:1963-1964 [...]llama_vocab_is_eogSingle0.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0010000000000025114100000000000001050.0010
2863libllama.so - char_traits.h:381-381 [...]llama_vocab::impl::load(llama_model_loader&, LLM_KV const&)Innermost0.030.030.000.000.000.030.030.030.030.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0011000111110024.0411811000111110NANANANANA0.0010101010100.99010
1259libggml-cpu.so - ops.cpp:4319-4365 [...]ggml_compute_forward_rms_normOutermost0.030.030.000.030.030.030.030.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00110121120007.4131.022.413.3511011111000NANANANANA0.001010100.5010100.50
1514libllama.so - stl_tree.h:2111-2115 [...]llama_kv_cache::apply_ubatch(llama_kv_cache::slot_info const&, llama_ubatch const&)Innermost0.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0010000000000NANA1NANA100000000000001125.0010
2864libllama.so - llama-vocab.cpp:2298-2336 [...]llama_vocab::impl::load(llama_model_loader&, LLM_KV const&)InBetween0.030.030.060.030.000.030.000.030.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.010.000.000.000.000.000.000.000.000.010.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0011110101001021.18117.0311110101001NANANANANA0.0010100.5010101010
2870libllama.so - llama-vocab.cpp:2148-2289 [...]llama_vocab::impl::load(llama_model_loader&, LLM_KV const&)Innermost0.030.000.000.000.030.030.030.030.030.030.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0010001111111022.39116.9210001111111NANANANANA0.0010101010100.9901010
1836libggml-cpu.so - ops.cpp:8885-8886 [...]ggml_compute_forward_flash_attn_extInnermost0.030.030.000.000.000.000.000.000.030.030.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.010.010.000.010.000.000.000.000.000.000.000.010.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.001100000012387.559.38111.331100000011111000100.0010100.9900.500.330
3081libllama.so - hashtable.h:2627-2644 [...]std::_Hashtable<std::pair<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > >, std::pair<std::pai...Innermost0.030.030.030.000.090.000.030.030.120.030.060.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.010.000.000.000.020.000.010.010.000.000.000.010.000.000.000.020.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.001110101111102511211101011111NANANANANA0.001010100.33010100.250100.50
63libggml-cpu.so - ggml-cpu.c:2129-2860 [...]ggml_graph_planOutermost0.030.000.030.000.030.000.000.000.030.030.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0010101000111020.31116.0610101000111NANANANANA0.001010100.9901010
1387exec - regex_executor.tcc:180-513 [...]std::__detail::_Executor<__gnu_cxx::__normal_iterator<char const*, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > >, std::allocator<std::__cxx11::sub_match<__gnu_cxx::__normal_iterator<ch...Single0.030.000.030.030.060.030.090.060.030.000.090.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.010.000.010.010.000.000.020.010.000.000.000.010.000.010.010.000.000.020.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0010111111101017.661114.7710111111101NANANANANA0.001010100.50100.3300.500.9900.330
2839libllama.so - new_allocator.h:172-172 [...]llama_vocab::impl::load(llama_model_loader&, LLM_KV const&)InBetween0.030.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00100001000003.3321.96.0916.410000100000NANANANANA0.001010
1016libggml-base.so - gguf.cpp:226-281 [...]bool gguf_reader::read<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > >(std::vector<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >, std::allocato...Innermost0.030.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0010100000000022.5116.18101000000003001087.501010
2501libllama.so - stl_heap.h:229-235llama_token_data_array_partial_sort_inplace(llama_token_data_array*, int)Innermost0.030.000.000.000.000.000.000.000.030.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0010000000110017.865.331810000000110NANANANANA0.00100.99010
1485libllama.so - llama-kv-cache.cpp:751-846 [...]llama_kv_cache::find_slot(llama_ubatch const&, bool) constInBetween0.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0010000000000020.45116.4910000000000NANANANANA0.0010
348libggml-cpu.so - traits.cpp:26-30 [...]ggml_cpu_extra_work_sizeSingle0.000.000.000.000.000.030.000.000.030.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0000000100101024.22115.04000001001010102074.38101010
3248libllama.so - unicode.cpp:130-131 [...]unicode_cpt_flags_array()Innermost0.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000001000000006.251116000100000001017058.3310
1449libggml-cpu.so - ops.cpp:5552-5563ggml_compute_forward_set_rowsInnermost0.000.000.000.030.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0000010100000025114000101000003002080.001010
3061libllama.so - hashtable.h:2627-2644 [...]std::_Hashtable<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >, std::pair<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const, int>, std::alloca...Outermost0.000.000.000.030.000.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0000010000010NANANANANA00010000010NANANANANA0.001010
3270libllama.so - unicode.cpp:834-835 [...]unicode_utf8_to_byte(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)Single0.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0000010000000033.3311400010000000NANANANANA0.0010
1855libggml-cpu.so - vec.h:740-745ggml_compute_forward_flash_attn_extInnermost0.000.000.000.030.030.000.000.030.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.010.000.000.010.000.000.000.000.000.000.010.010.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000002100100110075121.130001100100110000100.0010101010
1101exec - basic_string.h:198-433 [...]std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >* std::__do_uninit_copy<__gnu_cxx::__normal_iterator<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > co...Innermost0.000.060.000.000.030.000.030.000.030.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0001001010101021.02116.3501001010101NANANANANA0.001010101010
1324libllama.so - llama-graph.cpp:499-506 [...]llm_graph_result::can_reuse(llm_graph_params const&)Single0.000.000.000.000.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0000000000100019.6411600000000100NANANANANA0.0010
2848libllama.so - stl_uninitialized.h:642-642 [...]llama_vocab::impl::load(llama_model_loader&, LLM_KV const&)Innermost0.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0000001000000026.25113.76000010000000012058.3310
1296libggml-cpu.so - ops.cpp:4319-4338 [...]ggml_compute_forward_rms_normInBetween0.000.030.030.000.000.030.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.030.040.000.000.050.000.000.000.000.020.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00011001000018.3525.961.821.95.25011001000010002.33050.0010101010
1446libggml-cpu.so - vec.h:89-89ggml_compute_forward_get_rowsInnermost0.000.000.000.000.000.000.000.000.030.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000000000011066.6775111.140000000011002000100.001010
491libllama.so - stl_bvector.h:996-1614 [...]llama_batch_allocr::clear()Innermost0.000.000.000.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0000000001000021.43116.1500000001000NANANANANA0.0010
1357exec - regex_executor.tcc:47-88 [...]std::__detail::_Executor<__gnu_cxx::__normal_iterator<char const*, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > >, std::allocator<std::__cxx11::sub_match<__gnu_cxx::__normal_iterator<ch...Single0.000.000.000.030.000.060.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0000010100010022.81115.270001010001010000100.00101010
379libggml-cpu.so - binary-ops.cpp:10-110 [...]ggml_compute_forward_add_non_quantizedOutermost0.000.000.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.070.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0000000010000025.8311200000010000NANANANANA0.0010
3062libllama.so - hashtable.h:2627-2644 [...]std::_Hashtable<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >, std::pair<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const, int>, std::alloca...Innermost0.000.000.060.030.030.030.030.000.060.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.010.000.000.000.000.010.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000011111010002511200111110100NANANANANA0.00101010101010
904libggml-base.so - new_allocator.h:172-172 [...]bool gguf_read_emplace_helper<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > >(gguf_reader const&, std::vector<gguf_kv, std::allocator<gguf_kv> >&, std::__cxx11::basic_string<c...Innermost0.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000000100000002511400001000000NANANANANA0.0010
1706libllama.so - stl_tree.h:178-207 [...]void std::vector<llama_kv_cells, std::allocator<llama_kv_cells> >::_M_realloc_append<llama_kv_cells>(llama_kv_cells&&)Single0.000.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000000010000013.2526.923.3813.86000001000000006.5050.0010
2913libllama.so - new_allocator.h:172-172 [...]llama_decode_text(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)Single0.000.000.000.000.030.000.000.000.030.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0000001000110020.22117.4400001000110NANANANANA0.00101010
1512libllama.so - stl_tree.h:1947-1948 [...]llama_kv_cache::apply_ubatch(llama_kv_cache::slot_info const&, llama_ubatch const&)Innermost0.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0000001000000025114000010000000001050.0010
1024libggml-cpu.so - ops.cpp:711-713ggml_compute_forward_dupInnermost0.000.000.000.000.000.000.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0000000000001025114000000000011001075.0010
2873libllama.so - new_allocator.h:172-172 [...]llama_vocab::impl::load(llama_model_loader&, LLM_KV const&)Single0.000.000.060.060.000.030.030.000.000.000.060.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.010.000.000.000.000.000.000.010.000.000.010.010.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00001101100017.9224.944.8711.1300110110001NANANANANA0.001010101010
710libllama.so - llama-context.cpp:1007-1251 [...]llama_context::decode(llama_batch const&)InBetween0.000.000.000.000.000.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0000000000010023.6911100000000010NANANANANA0.0010
3220libllama.so - new_allocator.h:172-172 [...]llama_vocab::impl::~impl()Single0.000.030.030.000.000.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0001100000010022.92115.07011000000100001.5050.00101010
34exec - main.cpp:562-973 [...]mainOutermost0.000.000.000.000.000.000.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0000000000001021.2111.0200000000001NANANANANA0.0010
1396libllama.so - ostream:673-673 [...]gguf_kv_to_str[abi:cxx11](gguf_context const*, int)Single0.000.000.000.000.000.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0000000000010023.4115.740000000001010000100.0010
1469libllama.so - stl_tree.h:171-670 [...]llama_kv_cache::prepare(std::vector<llama_ubatch, std::allocator<llama_ubatch> > const&)Innermost0.000.030.000.000.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0001000000100037.5112.67010000001000004050.001010
3250libllama.so - stl_construct.h:119-119unicode_cpt_flags_array()Single0.000.000.030.000.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00001000001001001001110010000010010000100.001010
1439libggml-cpu.so - ops.cpp:5454-5454ggml_compute_forward_get_rowsSingle0.000.000.000.000.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0000000000100NANA1NANA00000000100NANANANANA0.0010
1395libllama.so - ostream:578-673 [...]gguf_kv_to_str[abi:cxx11](gguf_context const*, int)Innermost0.000.000.030.030.030.030.060.060.000.060.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.010.000.010.000.000.000.000.000.000.000.010.010.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0000111111011021.19119.4900111111011NANANANANA0.001010101010101010
68libggml-cpu.so - ggml-cpu.c:682-3185 [...]ggml_graph_computeOutermost0.000.000.030.000.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0000100000100020.719.1111.2400100000100NANANANANA0.001010
3080libllama.so - hashtable.h:2627-2644 [...]std::_Hashtable<std::pair<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > >, std::pair<std::pai...Outermost0.000.030.000.030.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0001010100000NANANANANA01010100000NANANANANA0.00101010
863libggml-cpu.so - vec.cpp:402-405 [...]ggml_vec_swiglu_f32Outermost0.000.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000001000007.4130.095.7514.4900000100000NANANANANA0.0010
1450libggml-cpu.so - ops.cpp:5551-5563ggml_compute_forward_set_rowsInBetween0.000.000.000.000.000.000.030.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0000000010100NANANANANA00000010100NANANANANA0.001010
1474libllama.so - llama-kv-cells.h:125-129 [...]llama_kv_cache::prepare(std::vector<llama_ubatch, std::allocator<llama_ubatch> > const&)Innermost0.000.000.000.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0000000001000016.67116.96000000010003000537.5010
1838libggml-cpu.so - ops.cpp:8778-8920 [...]ggml_compute_forward_flash_attn_extOutermost0.000.000.000.030.000.030.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.370.000.360.000.000.000.000.370.000.000.000.000.000.000.000.000.000.000.010.000.000.000.140.000.170.000.000.000.000.090.000.000.000.000.000.000.000.000.000.000.000.000.000.000.060.000.060.000.000.000.000.060001010000102511400010100001NANANANANA0.00101010
3079libllama.so - hashtable.h:2074-2077 [...]std::_Hashtable<std::pair<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > >, std::pair<std::pai...Single0.000.150.030.120.000.000.030.030.030.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.020.000.020.000.000.000.000.000.000.000.000.020.000.020.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000111001110102511201110011101NANANANANA0.0010101010101010
2904libllama.so - llama-vocab.cpp:2970-3064 [...]llama_vocab::impl::token_to_piece(int, char*, int, int, bool) constInBetween0.000.030.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0001001000000020.351110.1501001000000NANANANANA0.001010
2843exec - common.cpp:1012-1319 [...]common_init_from_params(common_params&)Single0.000.000.000.000.000.000.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0000000000001022.92115.4900000000001NANANANANA0.0010
×