+----------------+----------+-----------------------+---------------+--------------+ | Nodes | Services | Version | CPU | Status | +----------------+----------+-----------------------+---------------+--------------+ | 10.112.210.101 | kv | 7.0.0-5172-enterprise | 7.41116751269 | Cluster node | | 10.112.210.102 | ['kv'] | | | <--- IN --- | | 10.112.210.103 | ['fts'] | | | <--- IN --- | | 10.112.210.104 | ['fts'] | | | <--- IN --- | +----------------+----------+-----------------------+---------------+--------------+ 2021-05-18 16:35:00,436 | test | INFO | pool-2-thread-1 | [task:check:355] Rebalance - status: running, progress: 0.0 2021-05-18 16:35:10,687 | test | INFO | pool-2-thread-1 | [task:check:355] Rebalance - status: none, progress: 100 2021-05-18 16:35:10,813 | test | INFO | pool-2-thread-1 | [task:check:414] Rebalance completed with progress: 100% in 10.5460000038 sec 2021-05-18 16:35:14,487 | test | INFO | MainThread | [bucket_ready_functions:create_buckets_using_json_data:1799] Creating required buckets from template 2021-05-18 16:35:15,292 | test | INFO | MainThread | [bucket_ready_functions:wait_for_collection_creation_to_complete:2260] Waiting for all collections to be created 2021-05-18 16:35:16,092 | test | INFO | MainThread | [table_view:display:72] Bucket statistics +--------------------+-----------+----------+------------+-----+-------+-----------+----------+-----------+ | Bucket | Type | Replicas | Durability | TTL | Items | RAM Quota | RAM Used | Disk Used | +--------------------+-----------+----------+------------+-----+-------+-----------+----------+-----------+ | 9%FaIfL2-14-906000 | couchbase | 1 | none | 0 | 0 | 536870912 | 0 | 0 | +--------------------+-----------+----------+------------+-----+-------+-----------+----------+-----------+ 2021-05-18 16:35:16,094 | test | INFO | MainThread | [collections_base:collection_setup:175] Creating required SDK clients for client_pool 2021-05-18 16:37:19,351 | test | CRITICAL | MainThread | [sdk_client3:_SDKClient__create_conn:310] WaitUntilReady timeout exception count 1 2021-05-18 16:37:19,384 | test | CRITICAL | MainThread | [sdk_client3:_SDKClient__create_conn:312] Exception during waitUntilReady: com.couchbase.client.core.error.UnambiguousTimeoutException: WaitUntilReady timed out {"bucket":"9%FaIfL2-14-906000","checkedServices":["KV"],"currentState":"ONLINE","desiredState":"ONLINE","services":{"kv":[{"last_activity_us":833867,"state":"connected","id":"0xec42cd20","remote":"10.112.210.101:11210","local":"10.112.210.1:62268"},{"state":"connected","id":"0x0fbb98d0","remote":"10.112.210.101:11210","local":"10.112.210.1:62267"},{"state":"connected","id":"0xb353eebf","remote":"10.112.210.101:11210","local":"10.112.210.1:62269"},{"state":"connected","id":"0x57fe3245","remote":"10.112.210.101:11210","local":"10.112.210.1:62264"},{"state":"connected","id":"0x749c3934","remote":"10.112.210.101:11210","local":"10.112.210.1:62266"},{"state":"connected","id":"0xd9364ab8","remote":"10.112.210.101:11210","local":"10.112.210.1:62265"},{"state":"connected","id":"0x9cdfcb46","remote":"10.112.210.101:11210","local":"10.112.210.1:62271"},{"state":"connected","id":"0x6fa71ec7","remote":"10.112.210.101:11210","local":"10.112.210.1:62276"},{"state":"connected","id":"0xe12e8abf","remote":"10.112.210.101:11210","local":"10.112.210.1:62270"},{"state":"connected","id":"0xd5660032","remote":"10.112.210.101:11210","local":"10.112.210.1:62272"},{"state":"connected","id":"0xcf2c5e91","remote":"10.112.210.101:11210","local":"10.112.210.1:62274"},{"state":"connected","id":"0xa38de0c0","remote":"10.112.210.101:11210","local":"10.112.210.1:62278"},{"state":"connected","id":"0x92576dea","remote":"10.112.210.101:11210","local":"10.112.210.1:62273"},{"state":"connected","id":"0x110c56e9","remote":"10.112.210.101:11210","local":"10.112.210.1:62279"},{"state":"connected","id":"0x60bc9d80","remote":"10.112.210.101:11210","local":"10.112.210.1:62275"},{"state":"connected","id":"0xdacfc885","remote":"10.112.210.101:11210","local":"10.112.210.1:62277"},{"state":"connected","id":"0xbab3e147","remote":"10.112.210.101:11210","local":"10.112.210.1:62280"},{"state":"connected","id":"0xf3fab6cb","remote":"10.112.210.101:11210","local":"10.112.210.1:62281"},{"state":"connected","id":"0xf46ad5c8","remote":"10.112.210.101:11210","local":"10.112.210.1:62285"},{"state":"connected","id":"0x26cbd768","remote":"10.112.210.101:11210","local":"10.112.210.1:62284"},{"state":"connected","id":"0x868ff75e","remote":"10.112.210.101:11210","local":"10.112.210.1:62288"},{"state":"connected","id":"0x7e4a2a8b","remote":"10.112.210.101:11210","local":"10.112.210.1:62287"},{"state":"connected","id":"0xdab4e804","remote":"10.112.210.101:11210","local":"10.112.210.1:62283"},{"state":"connected","id":"0x53e58eec","remote":"10.112.210.101:11210","local":"10.112.210.1:62282"},{"state":"connected","id":"0xc685a6ff","remote":"10.112.210.101:11210","local":"10.112.210.1:62286"},{"last_activity_us":1873656,"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x69a3128a","remote":"10.112.210.101:11210","local":"10.112.210.1:62290"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x064d8543","remote":"10.112.210.101:11210","local":"10.112.210.1:62291"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xd8ce3e03","remote":"10.112.210.101:11210","local":"10.112.210.1:62289"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x926f7efa","remote":"10.112.210.101:11210","local":"10.112.210.1:62303"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x22b52b93","remote":"10.112.210.101:11210","local":"10.112.210.1:62310"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x64b6e4c4","remote":"10.112.210.101:11210","local":"10.112.210.1:62299"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x3e21b0fe","remote":"10.112.210.101:11210","local":"10.112.210.1:62292"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x274dc7a5","remote":"10.112.210.101:11210","local":"10.112.210.1:62307"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x04af7b87","remote":"10.112.210.101:11210","local":"10.112.210.1:62293"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x3ea2a115","remote":"10.112.210.101:11210","local":"10.112.210.1:62304"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x4e627006","remote":"10.112.210.101:11210","local":"10.112.210.1:62311"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x8adc175d","remote":"10.112.210.101:11210","local":"10.112.210.1:62300"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xec5e2409","remote":"10.112.210.101:11210","local":"10.112.210.1:62295"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x162399c1","remote":"10.112.210.101:11210","local":"10.112.210.1:62308"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x7e9ebcae","remote":"10.112.210.101:11210","local":"10.112.210.1:62294"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x8f01725c","remote":"10.112.210.101:11210","local":"10.112.210.1:62305"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x316e0915","remote":"10.112.210.101:11210","local":"10.112.210.1:62312"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x1c2c7803","remote":"10.112.210.101:11210","local":"10.112.210.1:62301"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x16b23ea9","remote":"10.112.210.101:11210","local":"10.112.210.1:62296"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x0dcd1f87","remote":"10.112.210.101:11210","local":"10.112.210.1:62309"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x2afbd1e8","remote":"10.112.210.101:11210","local":"10.112.210.1:62297"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x59102c67","remote":"10.112.210.101:11210","local":"10.112.210.1:62306"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x77e26acd","remote":"10.112.210.101:11210","local":"10.112.210.1:62313"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xe91979fd","remote":"10.112.210.101:11210","local":"10.112.210.1:62302"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x0a9d29e8","remote":"10.112.210.101:11210","local":"10.112.210.1:62298"},{"last_activity_us":840640,"state":"connected","id":"0xaed29618","remote":"10.112.210.102:11210","local":"10.112.210.1:62314"},{"state":"connected","id":"0x4d9ddae6","remote":"10.112.210.102:11210","local":"10.112.210.1:62315"},{"state":"connected","id":"0xaf494eba","remote":"10.112.210.102:11210","local":"10.112.210.1:62316"},{"state":"connected","id":"0xabb96f4e","remote":"10.112.210.102:11210","local":"10.112.210.1:62317"},{"state":"connected","id":"0x98803560","remote":"10.112.210.102:11210","local":"10.112.210.1:62331"},{"state":"connected","id":"0x058b2a62","remote":"10.112.210.102:11210","local":"10.112.210.1:62352"},{"state":"connected","id":"0x97c23845","remote":"10.112.210.102:11210","local":"10.112.210.1:62318"},{"state":"connected","id":"0x046adb84","remote":"10.112.210.102:11210","local":"10.112.210.1:62319"},{"state":"connected","id":"0xa0762c7a","remote":"10.112.210.102:11210","local":"10.112.210.1:62320"},{"state":"connected","id":"0x2fa83186","remote":"10.112.210.102:11210","local":"10.112.210.1:62321"},{"state":"connected","id":"0xb4959e04","remote":"10.112.210.102:11210","local":"10.112.210.1:62332"},{"state":"connected","id":"0x65c87d41","remote":"10.112.210.102:11210","local":"10.112.210.1:62353"},{"state":"connected","id":"0x5b9ee748","remote":"10.112.210.102:11210","local":"10.112.210.1:62322"},{"state":"connected","id":"0xd1aa452c","remote":"10.112.210.102:11210","local":"10.112.210.1:62323"},{"state":"connected","id":"0x44574a73","remote":"10.112.210.102:11210","local":"10.112.210.1:62325"},{"state":"connected","id":"0x6ec1f850","remote":"10.112.210.102:11210","local":"10.112.210.1:62324"},{"state":"connected","id":"0x7eced4db","remote":"10.112.210.102:11210","local":"10.112.210.1:62333"},{"state":"connected","id":"0xa0766140","remote":"10.112.210.102:11210","local":"10.112.210.1:62354"},{"state":"connected","id":"0xe0d8276d","remote":"10.112.210.102:11210","local":"10.112.210.1:62326"},{"state":"connected","id":"0x836b0f87","remote":"10.112.210.102:11210","local":"10.112.210.1:62327"},{"state":"connected","id":"0xe7e865e8","remote":"10.112.210.102:11210","local":"10.112.210.1:62328"},{"state":"connected","id":"0x290f2b2e","remote":"10.112.210.102:11210","local":"10.112.210.1:62329"},{"state":"connected","id":"0xad5a6d1d","remote":"10.112.210.102:11210","local":"10.112.210.1:62334"},{"state":"connected","id":"0x5210cdb5","remote":"10.112.210.102:11210","local":"10.112.210.1:62355"},{"state":"connected","id":"0xe8580cbd","remote":"10.112.210.102:11210","local":"10.112.210.1:62330"},{"last_activity_us":1872886,"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x2f4399bf","remote":"10.112.210.102:11210","local":"10.112.210.1:62335"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xaa185816","remote":"10.112.210.102:11210","local":"10.112.210.1:62344"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x4d7f9fb3","remote":"10.112.210.102:11210","local":"10.112.210.1:62337"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xd685c7e3","remote":"10.112.210.102:11210","local":"10.112.210.1:62356"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xd43a68b2","remote":"10.112.210.102:11210","local":"10.112.210.1:62348"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x228d0f5a","remote":"10.112.210.102:11210","local":"10.112.210.1:62360"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x887cf27a","remote":"10.112.210.102:11210","local":"10.112.210.1:62336"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x75113610","remote":"10.112.210.102:11210","local":"10.112.210.1:62345"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x02711cda","remote":"10.112.210.102:11210","local":"10.112.210.1:62338"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xe03ce588","remote":"10.112.210.102:11210","local":"10.112.210.1:62357"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x74d95301","remote":"10.112.210.102:11210","local":"10.112.210.1:62349"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xf242cf38","remote":"10.112.210.102:11210","local":"10.112.210.1:62361"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x72382bca","remote":"10.112.210.102:11210","local":"10.112.210.1:62339"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x184cdd42","remote":"10.112.210.102:11210","local":"10.112.210.1:62346"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x7fc1b3ff","remote":"10.112.210.102:11210","local":"10.112.210.1:62340"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x7c1ada7b","remote":"10.112.210.102:11210","local":"10.112.210.1:62358"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x2e2df2ff","remote":"10.112.210.102:11210","local":"10.112.210.1:62350"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xc5dba113","remote":"10.112.210.102:11210","local":"10.112.210.1:62362"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x6ec97124","remote":"10.112.210.102:11210","local":"10.112.210.1:62341"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x6efd0502","remote":"10.112.210.102:11210","local":"10.112.210.1:62347"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x98de2023","remote":"10.112.210.102:11210","local":"10.112.210.1:62342"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x652a4f99","remote":"10.112.210.102:11210","local":"10.112.210.1:62359"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x1dffb8e4","remote":"10.112.210.102:11210","local":"10.112.210.1:62351"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x22bf3902","remote":"10.112.210.102:11210","local":"10.112.210.1:62363"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x701ce957","remote":"10.112.210.102:11210","local":"10.112.210.1:62343"}],"mgmt":[{"last_activity_us":39865332,"state":"connected","id":"0x38e38de9","remote":"10.112.210.101:8091","local":"10.112.210.1:62368"},{"last_activity_us":43074,"state":"connected","id":"0xbfd278ba","remote":"10.112.210.101:8091","local":"10.112.210.1:62395"},{"last_activity_us":39865808,"state":"connected","id":"0x70c8ba53","remote":"10.112.210.101:8091","local":"10.112.210.1:62399"},{"last_activity_us":39866478,"state":"connected","id":"0x9aefe9fd","remote":"10.112.210.101:8091","local":"10.112.210.1:62402"},{"last_activity_us":39867461,"state":"connected","id":"0x8c61dd2e","remote":"10.112.210.102:8091","local":"10.112.210.1:62369"},{"last_activity_us":75759,"state":"connected","id":"0xa68f2a26","remote":"10.112.210.102:8091","local":"10.112.210.1:62396"},{"last_activity_us":39867671,"state":"connected","id":"0x1c5d7ca7","remote":"10.112.210.102:8091","local":"10.112.210.1:62400"},{"last_activity_us":39866124,"state":"connected","id":"0x584d8d7e","remote":"10.112.210.102:8091","local":"10.112.210.1:62403"},{"last_activity_us":39865127,"state":"connected","id":"0x4e6082fa","remote":"10.112.210.102:8091","local":"10.112.210.1:62408"},{"last_activity_us":39867601,"state":"connected","id":"0x93bd90e0","remote":"10.112.210.103:8091","local":"10.112.210.1:62370"},{"last_activity_us":66071,"state":"connected","id":"0x56f77b0f","remote":"10.112.210.103:8091","local":"10.112.210.1:62397"},{"last_activity_us":39867557,"state":"connected","id":"0xf2a4d1ea","remote":"10.112.210.103:8091","local":"10.112.210.1:62401"},{"last_activity_us":39866675,"state":"connected","id":"0xe31baf5c","remote":"10.112.210.103:8091","local":"10.112.210.1:62404"},{"last_activity_us":39866476,"state":"connected","id":"0x9f7e8262","remote":"10.112.210.103:8091","local":"10.112.210.1:62406"},{"last_activity_us":39867699,"state":"connected","id":"0x430c233e","remote":"10.112.210.104:8091","local":"10.112.210.1:62371"},{"last_activity_us":54546,"state":"connected","id":"0xce6662ed","remote":"10.112.210.104:8091","local":"10.112.210.1:62394"},{"last_activity_us":39869159,"state":"connected","id":"0x94430712","remote":"10.112.210.104:8091","local":"10.112.210.1:62398"},{"last_activity_us":39866686,"state":"connected","id":"0x01f52825","remote":"10.112.210.104:8091","local":"10.112.210.1:62405"},{"last_activity_us":39866159,"state":"connected","id":"0x3a65848a","remote":"10.112.210.104:8091","local":"10.112.210.1:62407"}]},"timeoutMs":120000} 2021-05-18 16:37:19,516 | test | INFO | MainThread | [sdk_client3:get_memory_footprint:329] RAM FootPrint: 231.23828125 2021-05-18 16:37:19,562 | test | INFO | MainThread | [common_lib:sleep:22] Sleep 120 seconds. Reason: sleep before next retry for bucket connection 2021-05-18 16:41:19,688 | test | CRITICAL | MainThread | [sdk_client3:_SDKClient__create_conn:310] WaitUntilReady timeout exception count 2 2021-05-18 16:41:19,730 | test | CRITICAL | MainThread | [sdk_client3:_SDKClient__create_conn:312] Exception during waitUntilReady: com.couchbase.client.core.error.UnambiguousTimeoutException: WaitUntilReady timed out {"bucket":"9%FaIfL2-14-906000","checkedServices":["KV"],"currentState":"ONLINE","desiredState":"ONLINE","services":{"kv":[{"last_activity_us":165225,"state":"connected","id":"0xec42cd20","remote":"10.112.210.101:11210","local":"10.112.210.1:62268"},{"state":"connected","id":"0x0fbb98d0","remote":"10.112.210.101:11210","local":"10.112.210.1:62267"},{"state":"connected","id":"0xb353eebf","remote":"10.112.210.101:11210","local":"10.112.210.1:62269"},{"state":"connected","id":"0x57fe3245","remote":"10.112.210.101:11210","local":"10.112.210.1:62264"},{"state":"connected","id":"0x749c3934","remote":"10.112.210.101:11210","local":"10.112.210.1:62266"},{"state":"connected","id":"0xd9364ab8","remote":"10.112.210.101:11210","local":"10.112.210.1:62265"},{"state":"connected","id":"0x9cdfcb46","remote":"10.112.210.101:11210","local":"10.112.210.1:62271"},{"state":"connected","id":"0x6fa71ec7","remote":"10.112.210.101:11210","local":"10.112.210.1:62276"},{"state":"connected","id":"0xe12e8abf","remote":"10.112.210.101:11210","local":"10.112.210.1:62270"},{"state":"connected","id":"0xd5660032","remote":"10.112.210.101:11210","local":"10.112.210.1:62272"},{"state":"connected","id":"0xcf2c5e91","remote":"10.112.210.101:11210","local":"10.112.210.1:62274"},{"state":"connected","id":"0xa38de0c0","remote":"10.112.210.101:11210","local":"10.112.210.1:62278"},{"state":"connected","id":"0x92576dea","remote":"10.112.210.101:11210","local":"10.112.210.1:62273"},{"state":"connected","id":"0x110c56e9","remote":"10.112.210.101:11210","local":"10.112.210.1:62279"},{"state":"connected","id":"0x60bc9d80","remote":"10.112.210.101:11210","local":"10.112.210.1:62275"},{"state":"connected","id":"0xdacfc885","remote":"10.112.210.101:11210","local":"10.112.210.1:62277"},{"state":"connected","id":"0xbab3e147","remote":"10.112.210.101:11210","local":"10.112.210.1:62280"},{"state":"connected","id":"0xf3fab6cb","remote":"10.112.210.101:11210","local":"10.112.210.1:62281"},{"state":"connected","id":"0xf46ad5c8","remote":"10.112.210.101:11210","local":"10.112.210.1:62285"},{"state":"connected","id":"0x26cbd768","remote":"10.112.210.101:11210","local":"10.112.210.1:62284"},{"state":"connected","id":"0x868ff75e","remote":"10.112.210.101:11210","local":"10.112.210.1:62288"},{"state":"connected","id":"0x7e4a2a8b","remote":"10.112.210.101:11210","local":"10.112.210.1:62287"},{"state":"connected","id":"0xdab4e804","remote":"10.112.210.101:11210","local":"10.112.210.1:62283"},{"state":"connected","id":"0x53e58eec","remote":"10.112.210.101:11210","local":"10.112.210.1:62282"},{"state":"connected","id":"0xc685a6ff","remote":"10.112.210.101:11210","local":"10.112.210.1:62286"},{"last_activity_us":2202432,"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x69a3128a","remote":"10.112.210.101:11210","local":"10.112.210.1:62290"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x064d8543","remote":"10.112.210.101:11210","local":"10.112.210.1:62291"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xd8ce3e03","remote":"10.112.210.101:11210","local":"10.112.210.1:62289"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x926f7efa","remote":"10.112.210.101:11210","local":"10.112.210.1:62303"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x22b52b93","remote":"10.112.210.101:11210","local":"10.112.210.1:62310"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x64b6e4c4","remote":"10.112.210.101:11210","local":"10.112.210.1:62299"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x3e21b0fe","remote":"10.112.210.101:11210","local":"10.112.210.1:62292"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x274dc7a5","remote":"10.112.210.101:11210","local":"10.112.210.1:62307"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x04af7b87","remote":"10.112.210.101:11210","local":"10.112.210.1:62293"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x3ea2a115","remote":"10.112.210.101:11210","local":"10.112.210.1:62304"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x4e627006","remote":"10.112.210.101:11210","local":"10.112.210.1:62311"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x8adc175d","remote":"10.112.210.101:11210","local":"10.112.210.1:62300"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xec5e2409","remote":"10.112.210.101:11210","local":"10.112.210.1:62295"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x162399c1","remote":"10.112.210.101:11210","local":"10.112.210.1:62308"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x7e9ebcae","remote":"10.112.210.101:11210","local":"10.112.210.1:62294"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x8f01725c","remote":"10.112.210.101:11210","local":"10.112.210.1:62305"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x316e0915","remote":"10.112.210.101:11210","local":"10.112.210.1:62312"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x1c2c7803","remote":"10.112.210.101:11210","local":"10.112.210.1:62301"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x16b23ea9","remote":"10.112.210.101:11210","local":"10.112.210.1:62296"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x0dcd1f87","remote":"10.112.210.101:11210","local":"10.112.210.1:62309"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x2afbd1e8","remote":"10.112.210.101:11210","local":"10.112.210.1:62297"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x59102c67","remote":"10.112.210.101:11210","local":"10.112.210.1:62306"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x77e26acd","remote":"10.112.210.101:11210","local":"10.112.210.1:62313"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xe91979fd","remote":"10.112.210.101:11210","local":"10.112.210.1:62302"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x0a9d29e8","remote":"10.112.210.101:11210","local":"10.112.210.1:62298"},{"last_activity_us":173726,"state":"connected","id":"0xaed29618","remote":"10.112.210.102:11210","local":"10.112.210.1:62314"},{"state":"connected","id":"0x4d9ddae6","remote":"10.112.210.102:11210","local":"10.112.210.1:62315"},{"state":"connected","id":"0xaf494eba","remote":"10.112.210.102:11210","local":"10.112.210.1:62316"},{"state":"connected","id":"0xabb96f4e","remote":"10.112.210.102:11210","local":"10.112.210.1:62317"},{"state":"connected","id":"0x98803560","remote":"10.112.210.102:11210","local":"10.112.210.1:62331"},{"state":"connected","id":"0x058b2a62","remote":"10.112.210.102:11210","local":"10.112.210.1:62352"},{"state":"connected","id":"0x97c23845","remote":"10.112.210.102:11210","local":"10.112.210.1:62318"},{"state":"connected","id":"0x046adb84","remote":"10.112.210.102:11210","local":"10.112.210.1:62319"},{"state":"connected","id":"0xa0762c7a","remote":"10.112.210.102:11210","local":"10.112.210.1:62320"},{"state":"connected","id":"0x2fa83186","remote":"10.112.210.102:11210","local":"10.112.210.1:62321"},{"state":"connected","id":"0xb4959e04","remote":"10.112.210.102:11210","local":"10.112.210.1:62332"},{"state":"connected","id":"0x65c87d41","remote":"10.112.210.102:11210","local":"10.112.210.1:62353"},{"state":"connected","id":"0x5b9ee748","remote":"10.112.210.102:11210","local":"10.112.210.1:62322"},{"state":"connected","id":"0xd1aa452c","remote":"10.112.210.102:11210","local":"10.112.210.1:62323"},{"state":"connected","id":"0x44574a73","remote":"10.112.210.102:11210","local":"10.112.210.1:62325"},{"state":"connected","id":"0x6ec1f850","remote":"10.112.210.102:11210","local":"10.112.210.1:62324"},{"state":"connected","id":"0x7eced4db","remote":"10.112.210.102:11210","local":"10.112.210.1:62333"},{"state":"connected","id":"0xa0766140","remote":"10.112.210.102:11210","local":"10.112.210.1:62354"},{"state":"connected","id":"0xe0d8276d","remote":"10.112.210.102:11210","local":"10.112.210.1:62326"},{"state":"connected","id":"0x836b0f87","remote":"10.112.210.102:11210","local":"10.112.210.1:62327"},{"state":"connected","id":"0xe7e865e8","remote":"10.112.210.102:11210","local":"10.112.210.1:62328"},{"state":"connected","id":"0x290f2b2e","remote":"10.112.210.102:11210","local":"10.112.210.1:62329"},{"state":"connected","id":"0xad5a6d1d","remote":"10.112.210.102:11210","local":"10.112.210.1:62334"},{"state":"connected","id":"0x5210cdb5","remote":"10.112.210.102:11210","local":"10.112.210.1:62355"},{"state":"connected","id":"0xe8580cbd","remote":"10.112.210.102:11210","local":"10.112.210.1:62330"},{"last_activity_us":2207578,"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x2f4399bf","remote":"10.112.210.102:11210","local":"10.112.210.1:62335"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xaa185816","remote":"10.112.210.102:11210","local":"10.112.210.1:62344"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x4d7f9fb3","remote":"10.112.210.102:11210","local":"10.112.210.1:62337"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xd685c7e3","remote":"10.112.210.102:11210","local":"10.112.210.1:62356"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xd43a68b2","remote":"10.112.210.102:11210","local":"10.112.210.1:62348"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x228d0f5a","remote":"10.112.210.102:11210","local":"10.112.210.1:62360"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x887cf27a","remote":"10.112.210.102:11210","local":"10.112.210.1:62336"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x75113610","remote":"10.112.210.102:11210","local":"10.112.210.1:62345"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x02711cda","remote":"10.112.210.102:11210","local":"10.112.210.1:62338"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xe03ce588","remote":"10.112.210.102:11210","local":"10.112.210.1:62357"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x74d95301","remote":"10.112.210.102:11210","local":"10.112.210.1:62349"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xf242cf38","remote":"10.112.210.102:11210","local":"10.112.210.1:62361"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x72382bca","remote":"10.112.210.102:11210","local":"10.112.210.1:62339"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x184cdd42","remote":"10.112.210.102:11210","local":"10.112.210.1:62346"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x7fc1b3ff","remote":"10.112.210.102:11210","local":"10.112.210.1:62340"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x7c1ada7b","remote":"10.112.210.102:11210","local":"10.112.210.1:62358"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x2e2df2ff","remote":"10.112.210.102:11210","local":"10.112.210.1:62350"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xc5dba113","remote":"10.112.210.102:11210","local":"10.112.210.1:62362"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x6ec97124","remote":"10.112.210.102:11210","local":"10.112.210.1:62341"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x6efd0502","remote":"10.112.210.102:11210","local":"10.112.210.1:62347"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x98de2023","remote":"10.112.210.102:11210","local":"10.112.210.1:62342"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x652a4f99","remote":"10.112.210.102:11210","local":"10.112.210.1:62359"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x1dffb8e4","remote":"10.112.210.102:11210","local":"10.112.210.1:62351"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x22bf3902","remote":"10.112.210.102:11210","local":"10.112.210.1:62363"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x701ce957","remote":"10.112.210.102:11210","local":"10.112.210.1:62343"}],"mgmt":[{"last_activity_us":22088,"state":"connected","id":"0xee564266","remote":"10.112.210.101:8091","local":"10.112.210.1:62434"},{"last_activity_us":59221,"state":"connected","id":"0x70be46e2","remote":"10.112.210.102:8091","local":"10.112.210.1:62435"},{"last_activity_us":50040,"state":"connected","id":"0xb572650b","remote":"10.112.210.103:8091","local":"10.112.210.1:62436"},{"last_activity_us":42996,"state":"connected","id":"0xbf5d13eb","remote":"10.112.210.104:8091","local":"10.112.210.1:62433"}]},"timeoutMs":120000} 2021-05-18 16:41:19,802 | test | INFO | MainThread | [sdk_client3:get_memory_footprint:329] RAM FootPrint: 190.1484375 2021-05-18 16:41:19,852 | test | INFO | MainThread | [common_lib:sleep:22] Sleep 120 seconds. Reason: sleep before next retry for bucket connection 2021-05-18 16:45:19,938 | test | CRITICAL | MainThread | [sdk_client3:_SDKClient__create_conn:310] WaitUntilReady timeout exception count 3 2021-05-18 16:45:19,966 | test | CRITICAL | MainThread | [sdk_client3:_SDKClient__create_conn:312] Exception during waitUntilReady: com.couchbase.client.core.error.UnambiguousTimeoutException: WaitUntilReady timed out {"bucket":"9%FaIfL2-14-906000","checkedServices":["KV"],"currentState":"ONLINE","desiredState":"ONLINE","services":{"kv":[{"last_activity_us":424063,"state":"connected","id":"0xec42cd20","remote":"10.112.210.101:11210","local":"10.112.210.1:62268"},{"state":"connected","id":"0x0fbb98d0","remote":"10.112.210.101:11210","local":"10.112.210.1:62267"},{"state":"connected","id":"0xb353eebf","remote":"10.112.210.101:11210","local":"10.112.210.1:62269"},{"state":"connected","id":"0x57fe3245","remote":"10.112.210.101:11210","local":"10.112.210.1:62264"},{"state":"connected","id":"0x749c3934","remote":"10.112.210.101:11210","local":"10.112.210.1:62266"},{"state":"connected","id":"0xd9364ab8","remote":"10.112.210.101:11210","local":"10.112.210.1:62265"},{"state":"connected","id":"0x9cdfcb46","remote":"10.112.210.101:11210","local":"10.112.210.1:62271"},{"state":"connected","id":"0x6fa71ec7","remote":"10.112.210.101:11210","local":"10.112.210.1:62276"},{"state":"connected","id":"0xe12e8abf","remote":"10.112.210.101:11210","local":"10.112.210.1:62270"},{"state":"connected","id":"0xd5660032","remote":"10.112.210.101:11210","local":"10.112.210.1:62272"},{"state":"connected","id":"0xcf2c5e91","remote":"10.112.210.101:11210","local":"10.112.210.1:62274"},{"state":"connected","id":"0xa38de0c0","remote":"10.112.210.101:11210","local":"10.112.210.1:62278"},{"state":"connected","id":"0x92576dea","remote":"10.112.210.101:11210","local":"10.112.210.1:62273"},{"state":"connected","id":"0x110c56e9","remote":"10.112.210.101:11210","local":"10.112.210.1:62279"},{"state":"connected","id":"0x60bc9d80","remote":"10.112.210.101:11210","local":"10.112.210.1:62275"},{"state":"connected","id":"0xdacfc885","remote":"10.112.210.101:11210","local":"10.112.210.1:62277"},{"state":"connected","id":"0xbab3e147","remote":"10.112.210.101:11210","local":"10.112.210.1:62280"},{"state":"connected","id":"0xf3fab6cb","remote":"10.112.210.101:11210","local":"10.112.210.1:62281"},{"state":"connected","id":"0xf46ad5c8","remote":"10.112.210.101:11210","local":"10.112.210.1:62285"},{"state":"connected","id":"0x26cbd768","remote":"10.112.210.101:11210","local":"10.112.210.1:62284"},{"state":"connected","id":"0x868ff75e","remote":"10.112.210.101:11210","local":"10.112.210.1:62288"},{"state":"connected","id":"0x7e4a2a8b","remote":"10.112.210.101:11210","local":"10.112.210.1:62287"},{"state":"connected","id":"0xdab4e804","remote":"10.112.210.101:11210","local":"10.112.210.1:62283"},{"state":"connected","id":"0x53e58eec","remote":"10.112.210.101:11210","local":"10.112.210.1:62282"},{"state":"connected","id":"0xc685a6ff","remote":"10.112.210.101:11210","local":"10.112.210.1:62286"},{"last_activity_us":2465672,"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x69a3128a","remote":"10.112.210.101:11210","local":"10.112.210.1:62290"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x064d8543","remote":"10.112.210.101:11210","local":"10.112.210.1:62291"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xd8ce3e03","remote":"10.112.210.101:11210","local":"10.112.210.1:62289"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x926f7efa","remote":"10.112.210.101:11210","local":"10.112.210.1:62303"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x22b52b93","remote":"10.112.210.101:11210","local":"10.112.210.1:62310"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x64b6e4c4","remote":"10.112.210.101:11210","local":"10.112.210.1:62299"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x3e21b0fe","remote":"10.112.210.101:11210","local":"10.112.210.1:62292"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x274dc7a5","remote":"10.112.210.101:11210","local":"10.112.210.1:62307"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x04af7b87","remote":"10.112.210.101:11210","local":"10.112.210.1:62293"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x3ea2a115","remote":"10.112.210.101:11210","local":"10.112.210.1:62304"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x4e627006","remote":"10.112.210.101:11210","local":"10.112.210.1:62311"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x8adc175d","remote":"10.112.210.101:11210","local":"10.112.210.1:62300"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xec5e2409","remote":"10.112.210.101:11210","local":"10.112.210.1:62295"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x162399c1","remote":"10.112.210.101:11210","local":"10.112.210.1:62308"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x7e9ebcae","remote":"10.112.210.101:11210","local":"10.112.210.1:62294"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x8f01725c","remote":"10.112.210.101:11210","local":"10.112.210.1:62305"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x316e0915","remote":"10.112.210.101:11210","local":"10.112.210.1:62312"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x1c2c7803","remote":"10.112.210.101:11210","local":"10.112.210.1:62301"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x16b23ea9","remote":"10.112.210.101:11210","local":"10.112.210.1:62296"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x0dcd1f87","remote":"10.112.210.101:11210","local":"10.112.210.1:62309"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x2afbd1e8","remote":"10.112.210.101:11210","local":"10.112.210.1:62297"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x59102c67","remote":"10.112.210.101:11210","local":"10.112.210.1:62306"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x77e26acd","remote":"10.112.210.101:11210","local":"10.112.210.1:62313"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xe91979fd","remote":"10.112.210.101:11210","local":"10.112.210.1:62302"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x0a9d29e8","remote":"10.112.210.101:11210","local":"10.112.210.1:62298"},{"last_activity_us":436876,"state":"connected","id":"0xaed29618","remote":"10.112.210.102:11210","local":"10.112.210.1:62314"},{"state":"connected","id":"0x4d9ddae6","remote":"10.112.210.102:11210","local":"10.112.210.1:62315"},{"state":"connected","id":"0xaf494eba","remote":"10.112.210.102:11210","local":"10.112.210.1:62316"},{"state":"connected","id":"0xabb96f4e","remote":"10.112.210.102:11210","local":"10.112.210.1:62317"},{"state":"connected","id":"0x98803560","remote":"10.112.210.102:11210","local":"10.112.210.1:62331"},{"state":"connected","id":"0x058b2a62","remote":"10.112.210.102:11210","local":"10.112.210.1:62352"},{"state":"connected","id":"0x97c23845","remote":"10.112.210.102:11210","local":"10.112.210.1:62318"},{"state":"connected","id":"0x046adb84","remote":"10.112.210.102:11210","local":"10.112.210.1:62319"},{"state":"connected","id":"0xa0762c7a","remote":"10.112.210.102:11210","local":"10.112.210.1:62320"},{"state":"connected","id":"0x2fa83186","remote":"10.112.210.102:11210","local":"10.112.210.1:62321"},{"state":"connected","id":"0xb4959e04","remote":"10.112.210.102:11210","local":"10.112.210.1:62332"},{"state":"connected","id":"0x65c87d41","remote":"10.112.210.102:11210","local":"10.112.210.1:62353"},{"state":"connected","id":"0x5b9ee748","remote":"10.112.210.102:11210","local":"10.112.210.1:62322"},{"state":"connected","id":"0xd1aa452c","remote":"10.112.210.102:11210","local":"10.112.210.1:62323"},{"state":"connected","id":"0x44574a73","remote":"10.112.210.102:11210","local":"10.112.210.1:62325"},{"state":"connected","id":"0x6ec1f850","remote":"10.112.210.102:11210","local":"10.112.210.1:62324"},{"state":"connected","id":"0x7eced4db","remote":"10.112.210.102:11210","local":"10.112.210.1:62333"},{"state":"connected","id":"0xa0766140","remote":"10.112.210.102:11210","local":"10.112.210.1:62354"},{"state":"connected","id":"0xe0d8276d","remote":"10.112.210.102:11210","local":"10.112.210.1:62326"},{"state":"connected","id":"0x836b0f87","remote":"10.112.210.102:11210","local":"10.112.210.1:62327"},{"state":"connected","id":"0xe7e865e8","remote":"10.112.210.102:11210","local":"10.112.210.1:62328"},{"state":"connected","id":"0x290f2b2e","remote":"10.112.210.102:11210","local":"10.112.210.1:62329"},{"state":"connected","id":"0xad5a6d1d","remote":"10.112.210.102:11210","local":"10.112.210.1:62334"},{"state":"connected","id":"0x5210cdb5","remote":"10.112.210.102:11210","local":"10.112.210.1:62355"},{"state":"connected","id":"0xe8580cbd","remote":"10.112.210.102:11210","local":"10.112.210.1:62330"},{"last_activity_us":2469715,"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x2f4399bf","remote":"10.112.210.102:11210","local":"10.112.210.1:62335"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xaa185816","remote":"10.112.210.102:11210","local":"10.112.210.1:62344"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x4d7f9fb3","remote":"10.112.210.102:11210","local":"10.112.210.1:62337"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xd685c7e3","remote":"10.112.210.102:11210","local":"10.112.210.1:62356"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xd43a68b2","remote":"10.112.210.102:11210","local":"10.112.210.1:62348"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x228d0f5a","remote":"10.112.210.102:11210","local":"10.112.210.1:62360"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x887cf27a","remote":"10.112.210.102:11210","local":"10.112.210.1:62336"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x75113610","remote":"10.112.210.102:11210","local":"10.112.210.1:62345"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x02711cda","remote":"10.112.210.102:11210","local":"10.112.210.1:62338"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xe03ce588","remote":"10.112.210.102:11210","local":"10.112.210.1:62357"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x74d95301","remote":"10.112.210.102:11210","local":"10.112.210.1:62349"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xf242cf38","remote":"10.112.210.102:11210","local":"10.112.210.1:62361"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x72382bca","remote":"10.112.210.102:11210","local":"10.112.210.1:62339"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x184cdd42","remote":"10.112.210.102:11210","local":"10.112.210.1:62346"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x7fc1b3ff","remote":"10.112.210.102:11210","local":"10.112.210.1:62340"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x7c1ada7b","remote":"10.112.210.102:11210","local":"10.112.210.1:62358"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x2e2df2ff","remote":"10.112.210.102:11210","local":"10.112.210.1:62350"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xc5dba113","remote":"10.112.210.102:11210","local":"10.112.210.1:62362"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x6ec97124","remote":"10.112.210.102:11210","local":"10.112.210.1:62341"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x6efd0502","remote":"10.112.210.102:11210","local":"10.112.210.1:62347"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x98de2023","remote":"10.112.210.102:11210","local":"10.112.210.1:62342"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x652a4f99","remote":"10.112.210.102:11210","local":"10.112.210.1:62359"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x1dffb8e4","remote":"10.112.210.102:11210","local":"10.112.210.1:62351"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x22bf3902","remote":"10.112.210.102:11210","local":"10.112.210.1:62363"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x701ce957","remote":"10.112.210.102:11210","local":"10.112.210.1:62343"}],"mgmt":[{"last_activity_us":18698,"state":"connected","id":"0x779a1744","remote":"10.112.210.101:8091","local":"10.112.210.1:62496"},{"last_activity_us":52887,"state":"connected","id":"0x1e457d37","remote":"10.112.210.102:8091","local":"10.112.210.1:62497"},{"last_activity_us":42378,"state":"connected","id":"0x4b64a136","remote":"10.112.210.103:8091","local":"10.112.210.1:62494"},{"last_activity_us":32511,"state":"connected","id":"0xaa09b4fa","remote":"10.112.210.104:8091","local":"10.112.210.1:62495"}]},"timeoutMs":120000} 2021-05-18 16:45:20,017 | test | INFO | MainThread | [sdk_client3:get_memory_footprint:329] RAM FootPrint: 78.5390625 2021-05-18 16:45:20,062 | test | INFO | MainThread | [common_lib:sleep:22] Sleep 120 seconds. Reason: sleep before next retry for bucket connection 2021-05-18 16:49:20,209 | test | CRITICAL | MainThread | [sdk_client3:_SDKClient__create_conn:310] WaitUntilReady timeout exception count 4 2021-05-18 16:49:20,246 | test | CRITICAL | MainThread | [sdk_client3:_SDKClient__create_conn:312] Exception during waitUntilReady: com.couchbase.client.core.error.UnambiguousTimeoutException: WaitUntilReady timed out {"bucket":"9%FaIfL2-14-906000","checkedServices":["KV"],"currentState":"ONLINE","desiredState":"ONLINE","services":{"kv":[{"last_activity_us":652582,"state":"connected","id":"0xec42cd20","remote":"10.112.210.101:11210","local":"10.112.210.1:62268"},{"state":"connected","id":"0x0fbb98d0","remote":"10.112.210.101:11210","local":"10.112.210.1:62267"},{"state":"connected","id":"0xb353eebf","remote":"10.112.210.101:11210","local":"10.112.210.1:62269"},{"state":"connected","id":"0x57fe3245","remote":"10.112.210.101:11210","local":"10.112.210.1:62264"},{"state":"connected","id":"0x749c3934","remote":"10.112.210.101:11210","local":"10.112.210.1:62266"},{"state":"connected","id":"0xd9364ab8","remote":"10.112.210.101:11210","local":"10.112.210.1:62265"},{"state":"connected","id":"0x9cdfcb46","remote":"10.112.210.101:11210","local":"10.112.210.1:62271"},{"state":"connected","id":"0x6fa71ec7","remote":"10.112.210.101:11210","local":"10.112.210.1:62276"},{"state":"connected","id":"0xe12e8abf","remote":"10.112.210.101:11210","local":"10.112.210.1:62270"},{"state":"connected","id":"0xd5660032","remote":"10.112.210.101:11210","local":"10.112.210.1:62272"},{"state":"connected","id":"0xcf2c5e91","remote":"10.112.210.101:11210","local":"10.112.210.1:62274"},{"state":"connected","id":"0xa38de0c0","remote":"10.112.210.101:11210","local":"10.112.210.1:62278"},{"state":"connected","id":"0x92576dea","remote":"10.112.210.101:11210","local":"10.112.210.1:62273"},{"state":"connected","id":"0x110c56e9","remote":"10.112.210.101:11210","local":"10.112.210.1:62279"},{"state":"connected","id":"0x60bc9d80","remote":"10.112.210.101:11210","local":"10.112.210.1:62275"},{"state":"connected","id":"0xdacfc885","remote":"10.112.210.101:11210","local":"10.112.210.1:62277"},{"state":"connected","id":"0xbab3e147","remote":"10.112.210.101:11210","local":"10.112.210.1:62280"},{"state":"connected","id":"0xf3fab6cb","remote":"10.112.210.101:11210","local":"10.112.210.1:62281"},{"state":"connected","id":"0xf46ad5c8","remote":"10.112.210.101:11210","local":"10.112.210.1:62285"},{"state":"connected","id":"0x26cbd768","remote":"10.112.210.101:11210","local":"10.112.210.1:62284"},{"state":"connected","id":"0x868ff75e","remote":"10.112.210.101:11210","local":"10.112.210.1:62288"},{"state":"connected","id":"0x7e4a2a8b","remote":"10.112.210.101:11210","local":"10.112.210.1:62287"},{"state":"connected","id":"0xdab4e804","remote":"10.112.210.101:11210","local":"10.112.210.1:62283"},{"state":"connected","id":"0x53e58eec","remote":"10.112.210.101:11210","local":"10.112.210.1:62282"},{"state":"connected","id":"0xc685a6ff","remote":"10.112.210.101:11210","local":"10.112.210.1:62286"},{"last_activity_us":2681550,"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x69a3128a","remote":"10.112.210.101:11210","local":"10.112.210.1:62290"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x064d8543","remote":"10.112.210.101:11210","local":"10.112.210.1:62291"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xd8ce3e03","remote":"10.112.210.101:11210","local":"10.112.210.1:62289"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x926f7efa","remote":"10.112.210.101:11210","local":"10.112.210.1:62303"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x22b52b93","remote":"10.112.210.101:11210","local":"10.112.210.1:62310"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x64b6e4c4","remote":"10.112.210.101:11210","local":"10.112.210.1:62299"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x3e21b0fe","remote":"10.112.210.101:11210","local":"10.112.210.1:62292"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x274dc7a5","remote":"10.112.210.101:11210","local":"10.112.210.1:62307"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x04af7b87","remote":"10.112.210.101:11210","local":"10.112.210.1:62293"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x3ea2a115","remote":"10.112.210.101:11210","local":"10.112.210.1:62304"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x4e627006","remote":"10.112.210.101:11210","local":"10.112.210.1:62311"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x8adc175d","remote":"10.112.210.101:11210","local":"10.112.210.1:62300"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xec5e2409","remote":"10.112.210.101:11210","local":"10.112.210.1:62295"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x162399c1","remote":"10.112.210.101:11210","local":"10.112.210.1:62308"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x7e9ebcae","remote":"10.112.210.101:11210","local":"10.112.210.1:62294"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x8f01725c","remote":"10.112.210.101:11210","local":"10.112.210.1:62305"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x316e0915","remote":"10.112.210.101:11210","local":"10.112.210.1:62312"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x1c2c7803","remote":"10.112.210.101:11210","local":"10.112.210.1:62301"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x16b23ea9","remote":"10.112.210.101:11210","local":"10.112.210.1:62296"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x0dcd1f87","remote":"10.112.210.101:11210","local":"10.112.210.1:62309"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x2afbd1e8","remote":"10.112.210.101:11210","local":"10.112.210.1:62297"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x59102c67","remote":"10.112.210.101:11210","local":"10.112.210.1:62306"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x77e26acd","remote":"10.112.210.101:11210","local":"10.112.210.1:62313"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xe91979fd","remote":"10.112.210.101:11210","local":"10.112.210.1:62302"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x0a9d29e8","remote":"10.112.210.101:11210","local":"10.112.210.1:62298"},{"last_activity_us":662356,"state":"connected","id":"0xaed29618","remote":"10.112.210.102:11210","local":"10.112.210.1:62314"},{"state":"connected","id":"0x4d9ddae6","remote":"10.112.210.102:11210","local":"10.112.210.1:62315"},{"state":"connected","id":"0xaf494eba","remote":"10.112.210.102:11210","local":"10.112.210.1:62316"},{"state":"connected","id":"0xabb96f4e","remote":"10.112.210.102:11210","local":"10.112.210.1:62317"},{"state":"connected","id":"0x98803560","remote":"10.112.210.102:11210","local":"10.112.210.1:62331"},{"state":"connected","id":"0x058b2a62","remote":"10.112.210.102:11210","local":"10.112.210.1:62352"},{"state":"connected","id":"0x97c23845","remote":"10.112.210.102:11210","local":"10.112.210.1:62318"},{"state":"connected","id":"0x046adb84","remote":"10.112.210.102:11210","local":"10.112.210.1:62319"},{"state":"connected","id":"0xa0762c7a","remote":"10.112.210.102:11210","local":"10.112.210.1:62320"},{"state":"connected","id":"0x2fa83186","remote":"10.112.210.102:11210","local":"10.112.210.1:62321"},{"state":"connected","id":"0xb4959e04","remote":"10.112.210.102:11210","local":"10.112.210.1:62332"},{"state":"connected","id":"0x65c87d41","remote":"10.112.210.102:11210","local":"10.112.210.1:62353"},{"state":"connected","id":"0x5b9ee748","remote":"10.112.210.102:11210","local":"10.112.210.1:62322"},{"state":"connected","id":"0xd1aa452c","remote":"10.112.210.102:11210","local":"10.112.210.1:62323"},{"state":"connected","id":"0x44574a73","remote":"10.112.210.102:11210","local":"10.112.210.1:62325"},{"state":"connected","id":"0x6ec1f850","remote":"10.112.210.102:11210","local":"10.112.210.1:62324"},{"state":"connected","id":"0x7eced4db","remote":"10.112.210.102:11210","local":"10.112.210.1:62333"},{"state":"connected","id":"0xa0766140","remote":"10.112.210.102:11210","local":"10.112.210.1:62354"},{"state":"connected","id":"0xe0d8276d","remote":"10.112.210.102:11210","local":"10.112.210.1:62326"},{"state":"connected","id":"0x836b0f87","remote":"10.112.210.102:11210","local":"10.112.210.1:62327"},{"state":"connected","id":"0xe7e865e8","remote":"10.112.210.102:11210","local":"10.112.210.1:62328"},{"state":"connected","id":"0x290f2b2e","remote":"10.112.210.102:11210","local":"10.112.210.1:62329"},{"state":"connected","id":"0xad5a6d1d","remote":"10.112.210.102:11210","local":"10.112.210.1:62334"},{"state":"connected","id":"0x5210cdb5","remote":"10.112.210.102:11210","local":"10.112.210.1:62355"},{"state":"connected","id":"0xe8580cbd","remote":"10.112.210.102:11210","local":"10.112.210.1:62330"},{"last_activity_us":2692159,"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x2f4399bf","remote":"10.112.210.102:11210","local":"10.112.210.1:62335"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xaa185816","remote":"10.112.210.102:11210","local":"10.112.210.1:62344"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x4d7f9fb3","remote":"10.112.210.102:11210","local":"10.112.210.1:62337"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xd685c7e3","remote":"10.112.210.102:11210","local":"10.112.210.1:62356"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xd43a68b2","remote":"10.112.210.102:11210","local":"10.112.210.1:62348"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x228d0f5a","remote":"10.112.210.102:11210","local":"10.112.210.1:62360"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x887cf27a","remote":"10.112.210.102:11210","local":"10.112.210.1:62336"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x75113610","remote":"10.112.210.102:11210","local":"10.112.210.1:62345"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x02711cda","remote":"10.112.210.102:11210","local":"10.112.210.1:62338"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xe03ce588","remote":"10.112.210.102:11210","local":"10.112.210.1:62357"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x74d95301","remote":"10.112.210.102:11210","local":"10.112.210.1:62349"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xf242cf38","remote":"10.112.210.102:11210","local":"10.112.210.1:62361"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x72382bca","remote":"10.112.210.102:11210","local":"10.112.210.1:62339"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x184cdd42","remote":"10.112.210.102:11210","local":"10.112.210.1:62346"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x7fc1b3ff","remote":"10.112.210.102:11210","local":"10.112.210.1:62340"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x7c1ada7b","remote":"10.112.210.102:11210","local":"10.112.210.1:62358"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x2e2df2ff","remote":"10.112.210.102:11210","local":"10.112.210.1:62350"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xc5dba113","remote":"10.112.210.102:11210","local":"10.112.210.1:62362"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x6ec97124","remote":"10.112.210.102:11210","local":"10.112.210.1:62341"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x6efd0502","remote":"10.112.210.102:11210","local":"10.112.210.1:62347"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x98de2023","remote":"10.112.210.102:11210","local":"10.112.210.1:62342"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x652a4f99","remote":"10.112.210.102:11210","local":"10.112.210.1:62359"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x1dffb8e4","remote":"10.112.210.102:11210","local":"10.112.210.1:62351"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x22bf3902","remote":"10.112.210.102:11210","local":"10.112.210.1:62363"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x701ce957","remote":"10.112.210.102:11210","local":"10.112.210.1:62343"}],"mgmt":[{"last_activity_us":32937707,"state":"connected","id":"0xd06d7494","remote":"10.112.210.101:8091","local":"10.112.210.1:62581"},{"last_activity_us":21076,"state":"connected","id":"0x2d9b1e66","remote":"10.112.210.101:8091","local":"10.112.210.1:62600"},{"last_activity_us":19807949,"state":"connected","id":"0xef937b58","remote":"10.112.210.101:8091","local":"10.112.210.1:62612"},{"last_activity_us":24051771,"state":"connected","id":"0x816a3b71","remote":"10.112.210.101:8091","local":"10.112.210.1:62615"},{"last_activity_us":30542459,"state":"connected","id":"0xc4a9d816","remote":"10.112.210.101:8091","local":"10.112.210.1:62616"},{"last_activity_us":35362018,"state":"connected","id":"0xe174c3ca","remote":"10.112.210.102:8091","local":"10.112.210.1:62578"},{"last_activity_us":61582,"state":"connected","id":"0x4e607a5a","remote":"10.112.210.102:8091","local":"10.112.210.1:62605"},{"last_activity_us":24064562,"state":"connected","id":"0xb79c00f3","remote":"10.112.210.102:8091","local":"10.112.210.1:62610"},{"last_activity_us":32427658,"state":"connected","id":"0xabc2816f","remote":"10.112.210.102:8091","local":"10.112.210.1:62614"},{"last_activity_us":35408241,"state":"connected","id":"0xd21d9590","remote":"10.112.210.103:8091","local":"10.112.210.1:62579"},{"last_activity_us":53641,"state":"connected","id":"0xd4a94797","remote":"10.112.210.103:8091","local":"10.112.210.1:62606"},{"last_activity_us":24061099,"state":"connected","id":"0x4717b70f","remote":"10.112.210.103:8091","local":"10.112.210.1:62608"},{"last_activity_us":35344258,"state":"connected","id":"0x13bf521f","remote":"10.112.210.103:8091","local":"10.112.210.1:62611"},{"last_activity_us":35363178,"state":"connected","id":"0x6aa286b4","remote":"10.112.210.104:8091","local":"10.112.210.1:62580"},{"last_activity_us":42571,"state":"connected","id":"0x0b56e1ee","remote":"10.112.210.104:8091","local":"10.112.210.1:62607"},{"last_activity_us":24063523,"state":"connected","id":"0x6c6c0030","remote":"10.112.210.104:8091","local":"10.112.210.1:62609"},{"last_activity_us":35312241,"state":"connected","id":"0x26cf4731","remote":"10.112.210.104:8091","local":"10.112.210.1:62613"}]},"timeoutMs":120000} 2021-05-18 16:49:20,369 | test | INFO | MainThread | [sdk_client3:get_memory_footprint:329] RAM FootPrint: 90.99609375 2021-05-18 16:49:20,546 | test | INFO | MainThread | [common_lib:sleep:22] Sleep 120 seconds. Reason: sleep before next retry for bucket connection 2021-05-18 16:53:20,615 | test | CRITICAL | MainThread | [sdk_client3:_SDKClient__create_conn:310] WaitUntilReady timeout exception count 5 2021-05-18 16:53:20,631 | test | CRITICAL | MainThread | [sdk_client3:_SDKClient__create_conn:312] Exception during waitUntilReady: com.couchbase.client.core.error.UnambiguousTimeoutException: WaitUntilReady timed out {"bucket":"9%FaIfL2-14-906000","checkedServices":["KV"],"currentState":"ONLINE","desiredState":"ONLINE","services":{"kv":[{"last_activity_us":111602,"state":"connected","id":"0xec42cd20","remote":"10.112.210.101:11210","local":"10.112.210.1:62268"},{"state":"connected","id":"0x0fbb98d0","remote":"10.112.210.101:11210","local":"10.112.210.1:62267"},{"state":"connected","id":"0xb353eebf","remote":"10.112.210.101:11210","local":"10.112.210.1:62269"},{"state":"connected","id":"0x57fe3245","remote":"10.112.210.101:11210","local":"10.112.210.1:62264"},{"state":"connected","id":"0x749c3934","remote":"10.112.210.101:11210","local":"10.112.210.1:62266"},{"state":"connected","id":"0xd9364ab8","remote":"10.112.210.101:11210","local":"10.112.210.1:62265"},{"state":"connected","id":"0x9cdfcb46","remote":"10.112.210.101:11210","local":"10.112.210.1:62271"},{"state":"connected","id":"0x6fa71ec7","remote":"10.112.210.101:11210","local":"10.112.210.1:62276"},{"state":"connected","id":"0xe12e8abf","remote":"10.112.210.101:11210","local":"10.112.210.1:62270"},{"state":"connected","id":"0xd5660032","remote":"10.112.210.101:11210","local":"10.112.210.1:62272"},{"state":"connected","id":"0xcf2c5e91","remote":"10.112.210.101:11210","local":"10.112.210.1:62274"},{"state":"connected","id":"0xa38de0c0","remote":"10.112.210.101:11210","local":"10.112.210.1:62278"},{"state":"connected","id":"0x92576dea","remote":"10.112.210.101:11210","local":"10.112.210.1:62273"},{"state":"connected","id":"0x110c56e9","remote":"10.112.210.101:11210","local":"10.112.210.1:62279"},{"state":"connected","id":"0x60bc9d80","remote":"10.112.210.101:11210","local":"10.112.210.1:62275"},{"state":"connected","id":"0xdacfc885","remote":"10.112.210.101:11210","local":"10.112.210.1:62277"},{"state":"connected","id":"0xbab3e147","remote":"10.112.210.101:11210","local":"10.112.210.1:62280"},{"state":"connected","id":"0xf3fab6cb","remote":"10.112.210.101:11210","local":"10.112.210.1:62281"},{"state":"connected","id":"0xf46ad5c8","remote":"10.112.210.101:11210","local":"10.112.210.1:62285"},{"state":"connected","id":"0x26cbd768","remote":"10.112.210.101:11210","local":"10.112.210.1:62284"},{"state":"connected","id":"0x868ff75e","remote":"10.112.210.101:11210","local":"10.112.210.1:62288"},{"state":"connected","id":"0x7e4a2a8b","remote":"10.112.210.101:11210","local":"10.112.210.1:62287"},{"state":"connected","id":"0xdab4e804","remote":"10.112.210.101:11210","local":"10.112.210.1:62283"},{"state":"connected","id":"0x53e58eec","remote":"10.112.210.101:11210","local":"10.112.210.1:62282"},{"state":"connected","id":"0xc685a6ff","remote":"10.112.210.101:11210","local":"10.112.210.1:62286"},{"last_activity_us":143564,"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x69a3128a","remote":"10.112.210.101:11210","local":"10.112.210.1:62290"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x064d8543","remote":"10.112.210.101:11210","local":"10.112.210.1:62291"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xd8ce3e03","remote":"10.112.210.101:11210","local":"10.112.210.1:62289"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x926f7efa","remote":"10.112.210.101:11210","local":"10.112.210.1:62303"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x22b52b93","remote":"10.112.210.101:11210","local":"10.112.210.1:62310"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x64b6e4c4","remote":"10.112.210.101:11210","local":"10.112.210.1:62299"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x3e21b0fe","remote":"10.112.210.101:11210","local":"10.112.210.1:62292"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x274dc7a5","remote":"10.112.210.101:11210","local":"10.112.210.1:62307"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x04af7b87","remote":"10.112.210.101:11210","local":"10.112.210.1:62293"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x3ea2a115","remote":"10.112.210.101:11210","local":"10.112.210.1:62304"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x4e627006","remote":"10.112.210.101:11210","local":"10.112.210.1:62311"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x8adc175d","remote":"10.112.210.101:11210","local":"10.112.210.1:62300"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xec5e2409","remote":"10.112.210.101:11210","local":"10.112.210.1:62295"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x162399c1","remote":"10.112.210.101:11210","local":"10.112.210.1:62308"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x7e9ebcae","remote":"10.112.210.101:11210","local":"10.112.210.1:62294"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x8f01725c","remote":"10.112.210.101:11210","local":"10.112.210.1:62305"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x316e0915","remote":"10.112.210.101:11210","local":"10.112.210.1:62312"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x1c2c7803","remote":"10.112.210.101:11210","local":"10.112.210.1:62301"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x16b23ea9","remote":"10.112.210.101:11210","local":"10.112.210.1:62296"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x0dcd1f87","remote":"10.112.210.101:11210","local":"10.112.210.1:62309"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x2afbd1e8","remote":"10.112.210.101:11210","local":"10.112.210.1:62297"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x59102c67","remote":"10.112.210.101:11210","local":"10.112.210.1:62306"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x77e26acd","remote":"10.112.210.101:11210","local":"10.112.210.1:62313"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xe91979fd","remote":"10.112.210.101:11210","local":"10.112.210.1:62302"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x0a9d29e8","remote":"10.112.210.101:11210","local":"10.112.210.1:62298"},{"last_activity_us":112467,"state":"connected","id":"0xaed29618","remote":"10.112.210.102:11210","local":"10.112.210.1:62314"},{"state":"connected","id":"0x4d9ddae6","remote":"10.112.210.102:11210","local":"10.112.210.1:62315"},{"state":"connected","id":"0xaf494eba","remote":"10.112.210.102:11210","local":"10.112.210.1:62316"},{"state":"connected","id":"0xabb96f4e","remote":"10.112.210.102:11210","local":"10.112.210.1:62317"},{"state":"connected","id":"0x98803560","remote":"10.112.210.102:11210","local":"10.112.210.1:62331"},{"state":"connected","id":"0x058b2a62","remote":"10.112.210.102:11210","local":"10.112.210.1:62352"},{"state":"connected","id":"0x97c23845","remote":"10.112.210.102:11210","local":"10.112.210.1:62318"},{"state":"connected","id":"0x046adb84","remote":"10.112.210.102:11210","local":"10.112.210.1:62319"},{"state":"connected","id":"0xa0762c7a","remote":"10.112.210.102:11210","local":"10.112.210.1:62320"},{"state":"connected","id":"0x2fa83186","remote":"10.112.210.102:11210","local":"10.112.210.1:62321"},{"state":"connected","id":"0xb4959e04","remote":"10.112.210.102:11210","local":"10.112.210.1:62332"},{"state":"connected","id":"0x65c87d41","remote":"10.112.210.102:11210","local":"10.112.210.1:62353"},{"state":"connected","id":"0x5b9ee748","remote":"10.112.210.102:11210","local":"10.112.210.1:62322"},{"state":"connected","id":"0xd1aa452c","remote":"10.112.210.102:11210","local":"10.112.210.1:62323"},{"state":"connected","id":"0x44574a73","remote":"10.112.210.102:11210","local":"10.112.210.1:62325"},{"state":"connected","id":"0x6ec1f850","remote":"10.112.210.102:11210","local":"10.112.210.1:62324"},{"state":"connected","id":"0x7eced4db","remote":"10.112.210.102:11210","local":"10.112.210.1:62333"},{"state":"connected","id":"0xa0766140","remote":"10.112.210.102:11210","local":"10.112.210.1:62354"},{"state":"connected","id":"0xe0d8276d","remote":"10.112.210.102:11210","local":"10.112.210.1:62326"},{"state":"connected","id":"0x836b0f87","remote":"10.112.210.102:11210","local":"10.112.210.1:62327"},{"state":"connected","id":"0xe7e865e8","remote":"10.112.210.102:11210","local":"10.112.210.1:62328"},{"state":"connected","id":"0x290f2b2e","remote":"10.112.210.102:11210","local":"10.112.210.1:62329"},{"state":"connected","id":"0xad5a6d1d","remote":"10.112.210.102:11210","local":"10.112.210.1:62334"},{"state":"connected","id":"0x5210cdb5","remote":"10.112.210.102:11210","local":"10.112.210.1:62355"},{"state":"connected","id":"0xe8580cbd","remote":"10.112.210.102:11210","local":"10.112.210.1:62330"},{"last_activity_us":147675,"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x2f4399bf","remote":"10.112.210.102:11210","local":"10.112.210.1:62335"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xaa185816","remote":"10.112.210.102:11210","local":"10.112.210.1:62344"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x4d7f9fb3","remote":"10.112.210.102:11210","local":"10.112.210.1:62337"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xd685c7e3","remote":"10.112.210.102:11210","local":"10.112.210.1:62356"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xd43a68b2","remote":"10.112.210.102:11210","local":"10.112.210.1:62348"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x228d0f5a","remote":"10.112.210.102:11210","local":"10.112.210.1:62360"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x887cf27a","remote":"10.112.210.102:11210","local":"10.112.210.1:62336"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x75113610","remote":"10.112.210.102:11210","local":"10.112.210.1:62345"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x02711cda","remote":"10.112.210.102:11210","local":"10.112.210.1:62338"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xe03ce588","remote":"10.112.210.102:11210","local":"10.112.210.1:62357"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x74d95301","remote":"10.112.210.102:11210","local":"10.112.210.1:62349"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xf242cf38","remote":"10.112.210.102:11210","local":"10.112.210.1:62361"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x72382bca","remote":"10.112.210.102:11210","local":"10.112.210.1:62339"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x184cdd42","remote":"10.112.210.102:11210","local":"10.112.210.1:62346"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x7fc1b3ff","remote":"10.112.210.102:11210","local":"10.112.210.1:62340"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x7c1ada7b","remote":"10.112.210.102:11210","local":"10.112.210.1:62358"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x2e2df2ff","remote":"10.112.210.102:11210","local":"10.112.210.1:62350"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0xc5dba113","remote":"10.112.210.102:11210","local":"10.112.210.1:62362"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x6ec97124","remote":"10.112.210.102:11210","local":"10.112.210.1:62341"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x6efd0502","remote":"10.112.210.102:11210","local":"10.112.210.1:62347"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x98de2023","remote":"10.112.210.102:11210","local":"10.112.210.1:62342"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x652a4f99","remote":"10.112.210.102:11210","local":"10.112.210.1:62359"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x1dffb8e4","remote":"10.112.210.102:11210","local":"10.112.210.1:62351"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x22bf3902","remote":"10.112.210.102:11210","local":"10.112.210.1:62363"},{"namespace":"9%FaIfL2-14-906000","state":"connected","id":"0x701ce957","remote":"10.112.210.102:11210","local":"10.112.210.1:62343"}],"mgmt":[{"last_activity_us":11537281,"state":"connected","id":"0x48ec0f99","remote":"10.112.210.101:8091","local":"10.112.210.1:62660"},{"last_activity_us":9018,"state":"connected","id":"0x889bcc76","remote":"10.112.210.101:8091","local":"10.112.210.1:62696"},{"last_activity_us":11535280,"state":"connected","id":"0xf6baffcb","remote":"10.112.210.101:8091","local":"10.112.210.1:62699"},{"last_activity_us":11535255,"state":"connected","id":"0x3114648e","remote":"10.112.210.101:8091","local":"10.112.210.1:62701"},{"last_activity_us":11536874,"state":"connected","id":"0x9723ef03","remote":"10.112.210.102:8091","local":"10.112.210.1:62657"},{"last_activity_us":40028,"state":"connected","id":"0x8db36ee7","remote":"10.112.210.102:8091","local":"10.112.210.1:62697"},{"last_activity_us":11536234,"state":"connected","id":"0xd5161221","remote":"10.112.210.102:8091","local":"10.112.210.1:62700"},{"last_activity_us":11540862,"state":"connected","id":"0xd488e84c","remote":"10.112.210.103:8091","local":"10.112.210.1:62658"},{"last_activity_us":30334,"state":"connected","id":"0x2cb0dbc9","remote":"10.112.210.103:8091","local":"10.112.210.1:62693"},{"last_activity_us":11537584,"state":"connected","id":"0xc5e00bcd","remote":"10.112.210.103:8091","local":"10.112.210.1:62695"},{"last_activity_us":11538900,"state":"connected","id":"0x2eb0980c","remote":"10.112.210.104:8091","local":"10.112.210.1:62659"},{"last_activity_us":19875,"state":"connected","id":"0x7114aa86","remote":"10.112.210.104:8091","local":"10.112.210.1:62694"},{"last_activity_us":11537034,"state":"connected","id":"0xeb94bd82","remote":"10.112.210.104:8091","local":"10.112.210.1:62698"}]},"timeoutMs":120000} 2021-05-18 16:53:20,686 | test | INFO | MainThread | [sdk_client3:get_memory_footprint:329] RAM FootPrint: 199.61328125 2021-05-18 16:53:20,730 | test | INFO | MainThread | [common_lib:sleep:22] Sleep 120 seconds. Reason: sleep before next retry for bucket connection 2021-05-18 16:55:20,752 | test | INFO | MainThread | [bucket_ready_functions:perform_tasks_from_spec:4652] Performing scope/collection specific operations 2021-05-18 16:55:20,982 | test | INFO | MainThread | [bucket_ready_functions:perform_tasks_from_spec:4742] Done Performing scope/collection specific operations 2021-05-18 16:55:21,872 | test | INFO | MainThread | [table_view:display:72] Cluster statistics +----------------+----------+-----------------+------------+------------+-----------------------+-------------------+-----------------------+ | Node | Services | CPU_utilization | Mem_total | Mem_free | Swap_mem_used | Active / Replica | Version | +----------------+----------+-----------------+------------+------------+-----------------------+-------------------+-----------------------+ | 10.112.210.104 | fts | 1.21827411168 | 1930829824 | 1505976320 | 40960 / 1107292160 | 0 / 0 | 7.0.0-5172-enterprise | | 10.112.210.102 | kv | 2.7950310559 | 1930829824 | 1484492800 | 364544 / 1107292160 | 0 / 0 | 7.0.0-5172-enterprise | | 10.112.210.101 | kv | 3.20579110651 | 1042685952 | 590319616 | 51671040 / 1107292160 | 0 / 0 | 7.0.0-5172-enterprise | | 10.112.210.103 | fts | 1.11675126904 | 1930829824 | 1501085696 | 0 / 1107292160 | 0 / 0 | 7.0.0-5172-enterprise | +----------------+----------+-----------------+------------+------------+-----------------------+-------------------+-----------------------+ 2021-05-18 16:55:25,624 | test | INFO | MainThread | [bucket_ready_functions:validate_docs_per_collections_all_buckets:4406] Validating collection stats and item counts 2021-05-18 16:55:31,137 | test | INFO | MainThread | [table_view:display:72] Bucket statistics +--------------------+-----------+----------+------------+-----+-------+-----------+----------+-----------+ | Bucket | Type | Replicas | Durability | TTL | Items | RAM Quota | RAM Used | Disk Used | +--------------------+-----------+----------+------------+-----+-------+-----------+----------+-----------+ | 9%FaIfL2-14-906000 | couchbase | 1 | none | 0 | 0 | 536870912 | 56625280 | 27698877 | +--------------------+-----------+----------+------------+-----+-------+-----------+----------+-----------+ 2021-05-18 16:55:31,141 | test | INFO | MainThread | [basetestcase:log_setup_status:545] ========= CollectionBase setup complete for test #1 test_fail_node_during_meta_key_delete ========= 2021-05-18 16:55:33,517 | test | INFO | MainThread | [config_purge:setUp:87] {'10.112.210.101': '2021-05-18T04:10:29.996-07:00', '10.112.210.102': '2021-05-18T04:10:30.922-07:00', '10.112.210.103': '2021-05-18T04:25:32.417-07:00', '10.112.210.104': '2021-05-18T04:25:32.307-07:00'} 2021-05-18 16:55:33,542 | test | INFO | MainThread | [config_purge:test_fail_node_during_meta_key_delete:546] Stopping meta_kv purger autorun 2021-05-18 16:55:33,555 | test | INFO | MainThread | [config_purge:_ConfigPurging__fts_index:132] key_create fts index fts_index_1621337133 2021-05-18 16:55:34,056 | test | INFO | MainThread | [common_lib:sleep:22] Sleep 5 seconds. Reason: Waiting for meta_kv sync to happen 2021-05-18 16:55:39,062 | test | INFO | MainThread | [config_purge:test_fail_node_during_meta_key_delete:562] Stopping couchbase server gracefully on 10.112.210.104 2021-05-18 16:55:40,713 | test | INFO | MainThread | [config_purge:_ConfigPurging__fts_index:132] key_delete fts index fts_index_1621337133 2021-05-18 16:55:40,835 | infra | ERROR | MainThread | [Rest_Connection:_http_request:257] Socket error while connecting to http://10.112.210.104:8094/api/index/fts_index_1621337133. Error [Errno 61] Connection refused 2021-05-18 16:55:43,953 | infra | ERROR | MainThread | [Rest_Connection:_http_request:257] Socket error while connecting to http://10.112.210.104:8094/api/index/fts_index_1621337133. Error [Errno 61] Connection refused 2021-05-18 16:55:47,072 | infra | ERROR | MainThread | [Rest_Connection:_http_request:257] Socket error while connecting to http://10.112.210.104:8094/api/index/fts_index_1621337133. Error [Errno 61] Connection refused 2021-05-18 16:55:50,187 | infra | ERROR | MainThread | [Rest_Connection:_http_request:257] Socket error while connecting to http://10.112.210.104:8094/api/index/fts_index_1621337133. Error [Errno 61] Connection refused 2021-05-18 16:55:53,303 | infra | ERROR | MainThread | [Rest_Connection:_http_request:257] Socket error while connecting to http://10.112.210.104:8094/api/index/fts_index_1621337133. Error [Errno 61] Connection refused 2021-05-18 16:55:56,418 | infra | ERROR | MainThread | [Rest_Connection:_http_request:257] Socket error while connecting to http://10.112.210.104:8094/api/index/fts_index_1621337133. Error [Errno 61] Connection refused 2021-05-18 16:55:59,536 | infra | ERROR | MainThread | [Rest_Connection:_http_request:257] Socket error while connecting to http://10.112.210.104:8094/api/index/fts_index_1621337133. Error [Errno 61] Connection refused