Rebalance failed with reason 'dcp_wait_for_data_move_failed::unexpected_status,connection_does_not_exist'

[error_logger:error,2024-04-24T03:35:02.422-07:00,ns_1@172.23.108.67:<0.2487.1242>:ale_error_logger_handler:do_log:101]

=========================CRASH REPORT=========================

  crasher:

    initial call: ns_single_vbucket_mover:'-wait_dcp_data_move/5-fun-0-'/0

    pid: <0.2487.1242>

    registered_name: []

    exception error: {dcp_wait_for_data_move_failed,"default",1004,

                         'ns_1@172.23.108.69',

                         ['ns_1@172.23.108.70','ns_1@172.23.108.68'],

                         {error,

                             {unexpected_status,

                                 <<"connection_does_not_exist">>},

                             "Error getting dcp stats on 'ns_1@172.23.108.69' for bucket \"default\", partition 1004, connection \"replication:ns_1@172.23.108.69->ns_1@172.23.108.70:default\": {unexpected_status,\n                                                                                                                                                                <<\"connection_does_not_exist\">>}"}}

      in function  ns_single_vbucket_mover:'-wait_dcp_data_move/5-fun-0-'/5 (src/ns_single_vbucket_mover.erl, line 453)

    ancestors: [<0.723.1242>,<0.32375.1241>,<0.29858.1241>]

    message_queue_len: 0

    messages: []

    links: [<0.723.1242>]

    dictionary: []

    trap_exit: false

    status: running

    heap_size: 2586

    stack_size: 28

    reductions: 3564

  neighbours:

[ns_server:error,2024-04-24T03:35:02.422-07:00,ns_1@172.23.108.67:<0.723.1242>:ns_single_vbucket_mover:spawn_and_wait:81]Got unexpected exit signal {'EXIT',<0.2487.1242>,

                            {{dcp_wait_for_data_move_failed,"default",1004,

                              'ns_1@172.23.108.69',

                              ['ns_1@172.23.108.70','ns_1@172.23.108.68'],

                              {error,

                               {unexpected_status,

                                <<"connection_does_not_exist">>},

                               "Error getting dcp stats on 'ns_1@172.23.108.69' for bucket \"default\", partition 1004, connection \"replication:ns_1@172.23.108.69->ns_1@172.23.108.70:default\": {unexpected_status,\n                                                                                                                                                                <<\"connection_does_not_exist\">>}"}},

                             [{ns_single_vbucket_mover,

                               '-wait_dcp_data_move/5-fun-0-',5,

                               [{file,"src/ns_single_vbucket_mover.erl"},

                                {line,453}]},

                              {proc_lib,init_p,3,

                               [{file,"proc_lib.erl"},{line,225}]}]}}

[ns_server:error,2024-04-24T03:35:02.422-07:00,ns_1@172.23.108.67:<0.723.1242>:misc:sync_shutdown_many_i_am_trapping_exits:1515]Shutdown of the following failed: [{<0.2487.1242>,

                                    {{dcp_wait_for_data_move_failed,

                                      "default",1004,'ns_1@172.23.108.69',

                                      ['ns_1@172.23.108.70',

                                       'ns_1@172.23.108.68'],

                                      {error,

                                       {unexpected_status,

                                        <<"connection_does_not_exist">>},

                                       "Error getting dcp stats on 'ns_1@172.23.108.69' for bucket \"default\", partition 1004, connection \"replication:ns_1@172.23.108.69->ns_1@172.23.108.70:default\": {unexpected_status,\n                                                                                                                                                                <<\"connection_does_not_exist\">>}"}},

                                     [{ns_single_vbucket_mover,

                                       '-wait_dcp_data_move/5-fun-0-',5,

                                       [{file,

                                         "src/ns_single_vbucket_mover.erl"},

                                        {line,453}]},

                                      {proc_lib,init_p,3,

                                       [{file,"proc_lib.erl"},{line,225}]}]}}]