Uploaded image for project: 'Couchbase Server'
  1. Couchbase Server
  2. MB-39922

System Test: Rebalance failed due to DCP disconnect triggered by DCP_MUTATION - Data exists for key

    XMLWordPrintable

Details

    Description

      Build: 6.6.0-7781

      Test: Eventing component 

      Day: 1

      Cycle: 2

      Seeing Rebalance is failing with mover crash

      [2020-06-11T04:26:50-07:00, sequoiatools/couchbase-cli:6.5:e2de20] failover -c 172.23.104.16:8091 --server-failover 172.23.104.18:8091 -u Administrator -p password --force
      [2020-06-11T04:27:15-07:00, sequoiatools/couchbase-cli:6.5:fcf510] failover -c 172.23.104.16:8091 --server-failover 172.23.104.25:8091 -u Administrator -p password --force
      [2020-06-11T04:27:28-07:00, sequoiatools/couchbase-cli:6.5:e23842] rebalance -c 172.23.104.16:8091 -u Administrator -p password
      → 
       
       
      Error occurred on container - sequoiatools/couchbase-cli:6.5:[rebalance -c 172.23.104.16:8091 -u Administrator -p password]
       
       
      docker logs e23842
      docker start e23842
       
       
      sWARNING: couchbase-cli version 6.5.0-3216-enterprise does not match couchbase server version 6.6.0-7781-enterprise
      *Unable to display progress bar on this os
      JERROR: Rebalance failed. See logs for detailed reason. You can try again.
      [2020-06-11T04:42:23-07:00, sequoiatools/cmd:5094ef] 60 

      Error logs

      [ns_server:error,2020-06-11T04:42:12.803-07:00,ns_1@172.23.104.16:<0.4566.238>:ns_single_vbucket_mover:spawn_and_wait:82]Got unexpected exit signal {'EXIT',<0.27266.237>,
                                  {unexpected_exit,
                                   {'EXIT',<0.6021.238>,
                                    {{{{{child_interrupted,
                                         {'EXIT',<0.11758.0>,socket_closed}},
                                        [{dcp_replicator,spawn_and_wait,1,
                                          [{file,"src/dcp_replicator.erl"},
                                           {line,266}]},
                                         {dcp_replicator,handle_call,3,
                                          [{file,"src/dcp_replicator.erl"},
                                           {line,127}]},
                                         {gen_server,try_handle_call,4,
                                          [{file,"gen_server.erl"},{line,636}]},
                                         {gen_server,handle_msg,6,
                                          [{file,"gen_server.erl"},{line,665}]},
                                         {proc_lib,init_p_do_apply,3,
                                          [{file,"proc_lib.erl"},{line,247}]}]},
                                       {gen_server,call,
                                        [<0.11756.0>,get_partitions,infinity]}},
                                      {gen_server,call,
                                       ['dcp_replication_manager-timer_op',
                                        {get_replicator_pid,381},
                                        infinity]}},
                                     {gen_server,call,
                                      [{'janitor_agent-timer_op',
                                        'ns_1@172.23.104.16'},
                                       {if_rebalance,<0.27266.237>,
                                        {update_vbucket_state,384,active,undefined,
                                         undefined,undefined}},
                                       infinity]}}}}}
      [user:error,2020-06-11T04:42:12.805-07:00,ns_1@172.23.104.16:<0.6113.0>:ns_orchestrator:log_rebalance_completion:1445]Rebalance exited with reason {mover_crashed,
                                    {unexpected_exit,
                                     {'EXIT',<0.6021.238>,
                                      {{{{{child_interrupted,
                                           {'EXIT',<0.11758.0>,socket_closed}},
                                          [{dcp_replicator,spawn_and_wait,1,
                                            [{file,"src/dcp_replicator.erl"},
                                             {line,266}]},
                                           {dcp_replicator,handle_call,3,
                                            [{file,"src/dcp_replicator.erl"},
                                             {line,127}]},
                                           {gen_server,try_handle_call,4,
                                            [{file,"gen_server.erl"},{line,636}]},
                                           {gen_server,handle_msg,6,
                                            [{file,"gen_server.erl"},{line,665}]},
                                           {proc_lib,init_p_do_apply,3,
                                            [{file,"proc_lib.erl"},{line,247}]}]},
                                         {gen_server,call,
                                          [<0.11756.0>,get_partitions,infinity]}},
                                        {gen_server,call,
                                         ['dcp_replication_manager-timer_op',
                                          {get_replicator_pid,381},
                                          infinity]}},
                                       {gen_server,call,
                                        [{'janitor_agent-timer_op',
                                          'ns_1@172.23.104.16'},
                                         {if_rebalance,<0.27266.237>,
                                          {update_vbucket_state,384,active,
                                           undefined,undefined,undefined}},
                                         infinity]}}}}}.
      Rebalance Operation Id = ad452a944e2174f71fa7777eddf87e32 

      Attachments

        Issue Links

          No reviews matched the request. Check your Options in the drop-down menu of this sections header.

          Activity

            People

              vikas.chaudhary Vikas Chaudhary
              vikas.chaudhary Vikas Chaudhary
              Votes:
              0 Vote for this issue
              Watchers:
              4 Start watching this issue

              Dates

                Created:
                Updated:
                Resolved:

                Gerrit Reviews

                  There are no open Gerrit changes

                  PagerDuty