Details
-
Bug
-
Resolution: Duplicate
-
Major
-
2.0-beta
-
Security Level: Public
-
centos 6.2 64bit
Description
Install couchbase server 2.0.0-709 on 3 nodes
10.3.121.23
10.3.121.24
10.3.121.25
Create default-s bucket and load 14 million items to bucket and maintain load with 3K ops.
Create 11 dev views,11 production views and query all views
Resident ratio is about 55%, disk write queue about 500K. Disk usage on 3 nodes was 100% all the time and cpu around 200 to 250%
I reboot node 24. Node 24 down and up again.
Then 3 minutes after it completed warming up, control connection to memcached on node 24 disconnected.
Then one hour later, control connection to memcached on node 25 disconnected.
[root@orange-3006 ~]# /opt/couchbase/bin/cbstats localhost:11210 timings -b default-s -p password
sec_label(0)
sec_label(1)
sec_label(1)
sec_label(2)
sec_label(2)
sec_label(4)
sec_label(4)
sec_label(8)
sec_label(8)
sec_label(16)
sec_label(16)
sec_label(32)
sec_label(32)
sec_label(64)
sec_label(64)
sec_label(128)
sec_label(128)
sec_label(256)
sec_label(256)
sec_label(512)
sec_label(512)
sec_label(1024)
sec_label(1024)
sec_label(2048)
sec_label(2048)
sec_label(4096)
sec_label(4096)
sec_label(8192)
sec_label(8192)
sec_label(16384)
sec_label(32768)
sec_label(65536)
sec_label(65536)
sec_label(131072)
batch_read (33451 total)
17m - inf : (100.00%) 33451 ############################################################################################################################################
bg_load (33451 total)
64us - 128us : ( 0.08%) 27
128us - 256us : ( 10.53%) 3495 ##############
256us - 512us : ( 13.07%) 850 ###
512us - 1ms : ( 13.27%) 68
1ms - 2ms : ( 13.35%) 25
2ms - 4ms : ( 13.67%) 109
4ms - 8ms : ( 15.45%) 593 ##
8ms - 16ms : ( 21.28%) 1950 ########
16ms - 32ms : ( 33.80%) 4189 #################
32ms - 65ms : ( 53.02%) 6431 ###########################
65ms - 131ms : ( 76.43%) 7830 #################################
131ms - 262ms : ( 93.19%) 5607 #######################
262ms - 524ms : ( 99.06%) 1961 ########
524ms - 1s : ( 99.84%) 261 #
1s - 2s : ( 99.95%) 38
2s - 4s : ( 99.98%) 10
4s - 8s : ( 99.99%) 4
8s - 16s : ( 99.99%) 1
16s - 33s : (100.00%) 1
33s - 1m : (100.00%) 1
bg_tap_load (954253 total)
32us - 64us : ( 0.00%) 4
64us - 128us : ( 19.33%) 184413 ##########################
128us - 256us : ( 80.09%) 579859 ####################################################################################
256us - 512us : ( 87.90%) 74495 ##########
512us - 1ms : ( 88.95%) 10013 #
1ms - 2ms : ( 89.27%) 3034
2ms - 4ms : ( 89.80%) 5133
4ms - 8ms : ( 91.26%) 13928 ##
8ms - 16ms : ( 93.23%) 18795 ##
16ms - 32ms : ( 94.84%) 15368 ##
32ms - 65ms : ( 96.75%) 18198 ##
65ms - 131ms : ( 98.72%) 18766 ##
131ms - 262ms : ( 99.73%) 9627 #
262ms - 524ms : ( 99.97%) 2328
524ms - 1s : (100.00%) 250
1s - 2s : (100.00%) 34
2s - 4s : (100.00%) 7
4s - 8s : (100.00%) 1
bg_tap_wait (954253 total)
32us - 64us : ( 0.00%) 23
64us - 128us : ( 0.01%) 91
128us - 256us : ( 0.02%) 83
256us - 512us : ( 0.03%) 45
512us - 1ms : ( 0.03%) 90
1ms - 2ms : ( 0.05%) 119
2ms - 4ms : ( 0.08%) 308
4ms - 8ms : ( 0.21%) 1270
8ms - 16ms : ( 0.37%) 1507
16ms - 32ms : ( 0.55%) 1725
32ms - 65ms : ( 0.83%) 2673
65ms - 131ms : ( 1.53%) 6676
131ms - 262ms : ( 2.93%) 13376 #
262ms - 524ms : ( 5.07%) 20434 ##
524ms - 1s : ( 9.16%) 39034 #####
1s - 2s : ( 16.21%) 67210 #########
2s - 4s : ( 27.04%) 103404 ###############
4s - 8s : ( 35.38%) 79545 ###########
8s - 16s : ( 41.96%) 62812 #########
16s - 33s : ( 52.55%) 101076 ##############
33s - 1m : ( 64.89%) 117708 #################
1m - 2m : ( 71.17%) 59924 ########
2m - 4m : ( 76.74%) 53180 #######
4m - 8m : ( 82.70%) 56853 ########
8m - 17m : ( 87.24%) 43341 ######
17m - inf : (100.00%) 121746 #################
bg_wait (33451 total)
8us - 16us : ( 0.00%) 1
16us - 32us : ( 0.01%) 2
32us - 64us : ( 2.43%) 811 ###
64us - 128us : ( 50.15%) 15961 ##################################################################
128us - 256us : ( 75.01%) 8316 ##################################
256us - 512us : ( 76.40%) 466 #
512us - 1ms : ( 76.96%) 188
1ms - 2ms : ( 77.34%) 125
2ms - 4ms : ( 77.96%) 210
4ms - 8ms : ( 79.01%) 349 #
8ms - 16ms : ( 80.72%) 573 ##
16ms - 32ms : ( 83.93%) 1075 ####
32ms - 65ms : ( 88.93%) 1672 ######
65ms - 131ms : ( 94.49%) 1858 #######
131ms - 262ms : ( 98.35%) 1291 #####
262ms - 524ms : ( 99.71%) 457 #
524ms - 1s : ( 99.86%) 49
1s - 2s : ( 99.90%) 13
2s - 4s : ( 99.93%) 11
4s - 8s : ( 99.95%) 6
8s - 16s : ( 99.97%) 6
16s - 33s : ( 99.98%) 5
33s - 1m : (100.00%) 6
data_age (15197439 total)
0 - 1s : ( 0.02%) 3155
1s - 2s : ( 0.23%) 32397
2s - 4s : ( 0.70%) 71283
4s - 7s : ( 1.53%) 126293 #
7s - 10s : ( 2.29%) 114721 #
10s - 16s : ( 3.94%) 250496 ##
16s - 23s : ( 6.56%) 398782 ###
23s - 34s : ( 12.03%) 831345 #######
34s - 49s : ( 19.49%) 1133262 ##########
49s - 1m : ( 25.06%) 847250 #######
1m - 1m : ( 28.04%) 452743 ####
1m - 2m : ( 31.60%) 540315 ####
2m - 3m : ( 35.85%) 646075 #####
3m - 4m : ( 39.99%) 629708 #####
4m - 6m : ( 43.95%) 601115 #####
6m - 9m : ( 48.07%) 625739 #####
9m - 12m : ( 53.57%) 836776 #######
12m - 17m : ( 62.13%) 1301290 ###########
17m - 24m : ( 69.78%) 1162752 ##########
24m - 34m : ( 79.77%) 1517824 #############
34m - 48m : ( 80.71%) 141813 #
187m - inf : (100.00%) 2932305 ##########################
disk_commit (8437 total)
0 - 1s : ( 91.24%) 7698 ################################################################################################################################
1s - 2s : ( 96.43%) 438 #######
2s - 4s : ( 98.87%) 206 ###
4s - 7s : ( 99.74%) 73 #
7s - 10s : ( 99.96%) 19
16s - 23s : ( 99.98%) 1
49s - 1m : ( 99.99%) 1
3m - 4m : (100.00%) 1
disk_del (2958895 total)
2us - 4us : ( 0.00%) 135
4us - 8us : ( 62.56%) 1850890 ######################################################################################
8us - 16us : ( 89.05%) 783851 ####################################
16us - 32us : ( 96.15%) 210187 #########
32us - 64us : ( 98.02%) 55147 ##
64us - 128us : ( 98.41%) 11530
128us - 256us : ( 98.53%) 3797
256us - 512us : ( 98.57%) 1110
512us - 1ms : ( 98.59%) 496
1ms - 2ms : ( 98.60%) 278
2ms - 4ms : ( 98.64%) 1305
4ms - 8ms : ( 98.80%) 4696
8ms - 16ms : ( 98.88%) 2430
16ms - 32ms : ( 98.98%) 2816
32ms - 65ms : ( 99.14%) 4752
65ms - 131ms : ( 99.38%) 7219
131ms - 262ms : ( 99.66%) 8186
262ms - 524ms : ( 99.87%) 6148
524ms - 1s : ( 99.97%) 2905
1s - 2s : ( 99.99%) 772
2s - 4s : (100.00%) 181
4s - 8s : (100.00%) 56
8s - 16s : (100.00%) 8
disk_insert (10274497 total)
0 - 1us : ( 0.00%) 34
4us - 8us : ( 0.00%) 1
16us - 32us : ( 4.29%) 440973 #####
32us - 64us : ( 82.75%) 8061284 ############################################################################################################
64us - 128us : ( 96.93%) 1456371 ###################
128us - 256us : ( 98.51%) 162320 ##
256us - 512us : ( 99.03%) 54212
512us - 1ms : ( 99.21%) 17697
1ms - 2ms : ( 99.28%) 7191
2ms - 4ms : ( 99.38%) 10665
4ms - 8ms : ( 99.52%) 14412
8ms - 16ms : ( 99.56%) 4338
16ms - 32ms : ( 99.68%) 12510
32ms - 65ms : ( 99.86%) 18341
65ms - 131ms : ( 99.92%) 5695
131ms - 262ms : ( 99.94%) 2477
262ms - 524ms : ( 99.96%) 1479
524ms - 1s : ( 99.97%) 1211
1s - 2s : ( 99.98%) 1570
2s - 4s : (100.00%) 1320
4s - 8s : (100.00%) 341
8s - 16s : (100.00%) 40
16s - 33s : (100.00%) 9
33s - 1m : (100.00%) 2
1m - 2m : (100.00%) 2
2m - 4m : (100.00%) 1
4m - 8m : (100.00%) 1
disk_update (2815708 total)
0 - 1us : ( 0.00%) 3
16us - 32us : ( 2.32%) 65458 ###
32us - 64us : ( 83.02%) 2272187 ###############################################################################################################
64us - 128us : ( 97.13%) 397138 ###################
128us - 256us : ( 98.79%) 46848 ##
256us - 512us : ( 99.42%) 17814
512us - 1ms : ( 99.64%) 6035
1ms - 2ms : ( 99.70%) 1851
2ms - 4ms : ( 99.75%) 1196
4ms - 8ms : ( 99.79%) 1359
8ms - 16ms : ( 99.81%) 460
16ms - 32ms : ( 99.85%) 1056
32ms - 65ms : ( 99.90%) 1520
65ms - 131ms : ( 99.92%) 495
131ms - 262ms : ( 99.93%) 283
262ms - 524ms : ( 99.94%) 241
524ms - 1s : ( 99.95%) 328
1s - 2s : ( 99.97%) 597
2s - 4s : ( 99.99%) 652
4s - 8s : (100.00%) 153
8s - 16s : (100.00%) 28
16s - 33s : (100.00%) 6
disk_vb_del (171 total)
2s - 4s : ( 29.82%) 51 ##########################################
4s - 8s : ( 84.80%) 94 ##############################################################################
8s - 16s : (100.00%) 26 #####################
disk_vbstate_snapshot (312 total)
0 - 1us : ( 0.32%) 1
2ms - 4ms : ( 5.45%) 16 #######
4ms - 8ms : ( 7.05%) 5 ##
8ms - 16ms : ( 11.22%) 13 #####
16ms - 32ms : ( 15.06%) 12 #####
32ms - 65ms : ( 19.87%) 15 ######
65ms - 131ms : ( 33.33%) 42 ###################
131ms - 262ms : ( 57.05%) 74 #################################
262ms - 524ms : ( 73.40%) 51 #######################
524ms - 1s : ( 82.69%) 29 #############
1s - 2s : ( 86.86%) 13 #####
2s - 4s : ( 89.74%) 9 ####
4s - 8s : ( 93.27%) 11 #####
8s - 16s : ( 97.44%) 13 #####
16s - 33s : ( 98.40%) 3 #
33s - 1m : ( 99.68%) 4 #
1m - 2m : (100.00%) 1
get_cmd (2530079 total)
0 - 1us : ( 0.00%) 6
2us - 4us : ( 0.00%) 19
4us - 8us : ( 0.69%) 17500
8us - 16us : ( 53.60%) 1338694 #########################################################################
16us - 32us : ( 90.58%) 935640 ###################################################
32us - 64us : ( 98.45%) 198961 ##########
64us - 128us : ( 99.76%) 33230 #
128us - 256us : ( 99.90%) 3441
256us - 512us : ( 99.96%) 1666
512us - 1ms : ( 99.98%) 480
1ms - 2ms : ( 99.99%) 216
2ms - 4ms : (100.00%) 133
4ms - 8ms : (100.00%) 52
8ms - 16ms : (100.00%) 22
16ms - 32ms : (100.00%) 10
32ms - 65ms : (100.00%) 5
65ms - 131ms : (100.00%) 4
get_stats_cmd (257666 total)
1us - 2us : ( 0.00%) 2
2us - 4us : ( 17.37%) 44749 ########################
4us - 8us : ( 19.89%) 6487 ###
8us - 16us : ( 20.04%) 391
16us - 32us : ( 20.10%) 156
32us - 64us : ( 20.11%) 38
64us - 128us : ( 20.12%) 18
128us - 256us : ( 20.86%) 1921 #
256us - 512us : ( 26.80%) 15294 ########
512us - 1ms : ( 31.12%) 11134 ######
1ms - 2ms : ( 63.10%) 82410 ############################################
2ms - 4ms : ( 94.20%) 80112 ###########################################
4ms - 8ms : ( 99.24%) 12985 #######
8ms - 16ms : ( 99.88%) 1656
16ms - 32ms : ( 99.96%) 218
32ms - 65ms : ( 99.99%) 73
65ms - 131ms : (100.00%) 16
131ms - 262ms : (100.00%) 4
262ms - 524ms : (100.00%) 1
2s - 4s : (100.00%) 1
get_vb_cmd (8111 total)
2us - 4us : ( 0.51%) 41
4us - 8us : ( 22.45%) 1780 ##############################
8us - 16us : ( 85.71%) 5131 #########################################################################################
16us - 32us : ( 97.76%) 977 ################
32us - 64us : ( 99.47%) 139 ##
64us - 128us : ( 99.83%) 29
128us - 256us : ( 99.90%) 6
256us - 512us : ( 99.94%) 3
512us - 1ms : ( 99.98%) 3
1ms - 2ms : ( 99.99%) 1
4ms - 8ms : (100.00%) 1
item_alloc_sizes (7966774 total)
128 - 256 : ( 11.46%) 913377 ###############
256 - 512 : ( 78.20%) 5316938 ############################################################################################
1KB - 2KB : (100.00%) 1736459 ##############################
notify_io (3010437 total)
0 - 1us : ( 40.26%) 1212132 #######################################################
1us - 2us : ( 42.93%) 80167 ###
2us - 4us : ( 43.90%) 29142 #
4us - 8us : ( 47.99%) 123221 #####
8us - 16us : ( 68.66%) 622169 ############################
16us - 32us : ( 90.92%) 670181 ##############################
32us - 64us : ( 94.68%) 113189 #####
64us - 128us : ( 96.91%) 67207 ###
128us - 256us : ( 98.79%) 56635 ##
256us - 512us : ( 99.53%) 22105 #
512us - 1ms : ( 99.77%) 7242
1ms - 2ms : ( 99.87%) 3019
2ms - 4ms : ( 99.92%) 1607
4ms - 8ms : ( 99.96%) 1092
8ms - 16ms : ( 99.98%) 654
16ms - 32ms : ( 99.99%) 375
32ms - 65ms : (100.00%) 175
65ms - 131ms : (100.00%) 81
131ms - 262ms : (100.00%) 25
262ms - 524ms : (100.00%) 16
524ms - 1s : (100.00%) 3
paged_out_time (33451 total)
0 - 1s : ( 0.00%) 1
1s - 2s : ( 0.01%) 2
2s - 4s : ( 0.04%) 11
4s - 8s : ( 0.19%) 50
8s - 16s : ( 0.48%) 96
16s - 32s : ( 1.08%) 202
32s - 1m : ( 2.14%) 354 #
1m - 2m : ( 4.37%) 746 ###
2m - 4m : ( 8.73%) 1457 ######
4m - 8m : ( 16.49%) 2596 ##########
8m - 17m : ( 32.35%) 5308 ######################
17m - 34m : ( 54.05%) 7258 ##############################
34m - 68m : ( 83.82%) 9959 #########################################
68m - 136m : ( 98.30%) 4843 ####################
136m - 273m : ( 99.97%) 557 ##
546m - 1092m : (100.00%) 10
1092m - 2184m : (100.00%) 1
set_vb_cmd (684 total)
32us - 64us : ( 0.88%) 6 #
64us - 128us : ( 58.77%) 396 ##################################################################################
128us - 256us : ( 97.37%) 264 ######################################################
256us - 512us : ( 98.39%) 7 #
512us - 1ms : ( 98.83%) 3
2ms - 4ms : ( 98.98%) 1
4ms - 8ms : ( 99.71%) 5 #
8ms - 16ms : ( 99.85%) 1
16ms - 32ms : (100.00%) 1
storage_age (15197439 total)
0 - 1s : ( 0.08%) 12067
1s - 2s : ( 0.44%) 54392
2s - 4s : ( 1.02%) 88286
4s - 7s : ( 1.79%) 117906 #
7s - 10s : ( 2.51%) 108217
10s - 16s : ( 4.21%) 258939 ##
16s - 23s : ( 7.01%) 426056 ###
23s - 34s : ( 12.64%) 855046 #######
34s - 49s : ( 19.88%) 1100182 #########
49s - 1m : ( 25.08%) 791026 #######
1m - 1m : ( 27.93%) 432012 ###
1m - 2m : ( 31.46%) 537461 ####
2m - 3m : ( 35.66%) 637808 #####
3m - 4m : ( 39.74%) 619564 #####
4m - 6m : ( 43.64%) 592486 #####
6m - 9m : ( 47.69%) 616896 #####
9m - 12m : ( 53.14%) 828315 #######
12m - 17m : ( 61.68%) 1296872 ###########
17m - 24m : ( 69.34%) 1164753 ##########
24m - 34m : ( 79.45%) 1536815 #############
34m - 48m : ( 80.40%) 143969 #
187m - inf : (100.00%) 2978371 ###########################
tap_mutation (7166951 total)
0 - 1us : ( 0.00%) 50
2us - 4us : ( 3.00%) 215048 ####
4us - 8us : ( 27.53%) 1758264 #################################
8us - 16us : ( 70.70%) 3093322 ###########################################################
16us - 32us : ( 91.30%) 1477029 ############################
32us - 64us : ( 98.09%) 486289 #########
64us - 128us : ( 99.48%) 99877 #
128us - 256us : ( 99.77%) 20657
256us - 512us : ( 99.87%) 7250
512us - 1ms : ( 99.92%) 3656
1ms - 2ms : ( 99.96%) 2574
2ms - 4ms : ( 99.98%) 1833
4ms - 8ms : ( 99.99%) 740
8ms - 16ms : (100.00%) 241
16ms - 32ms : (100.00%) 72
32ms - 65ms : (100.00%) 32
65ms - 131ms : (100.00%) 13
131ms - 262ms : (100.00%) 3
262ms - 524ms : (100.00%) 1
tap_vb_reset (513 total)
4us - 8us : ( 0.19%) 1
8us - 16us : ( 7.60%) 38 ##########
16us - 32us : ( 64.13%) 290 ################################################################################
32us - 64us : ( 69.20%) 26 #######
64us - 128us : ( 80.51%) 58 ################
128us - 256us : ( 87.13%) 34 #########
256us - 512us : ( 90.06%) 15 ####
512us - 1ms : ( 91.62%) 8 ##
1ms - 2ms : ( 91.81%) 1
2ms - 4ms : ( 96.88%) 26 #######
4ms - 8ms : ( 99.61%) 14 ###
8ms - 16ms : (100.00%) 2
Memcached log is empty. Files bug MB-6322