Uploaded image for project: 'Couchbase Server'
  1. Couchbase Server
  2. MB-29545

[CLONE][Upgrade] couchbase server is not coming up after offline upgrade

    XMLWordPrintable

Details

    • Bug
    • Resolution: Fixed
    • Test Blocker
    • 5.5.0
    • 5.5.0
    • ns_server
    • Initial Build: 5.0.1-5003

      Cluster Setup:
      Node 1: kv
      Node 2: kv
      Node 3: index, n1ql
      Node 4: index
    • Untriaged
    • Unknown

    Description

      CLONE OF MB-29539

      Steps:

      1. Create and configure cluster in 5.0.1
      2. Create and load bucket "default" and create some indexes.
      3. Upgrade Node 1 (KV) using offline upgrade to 5.5.0-2671 using following command

      rpm -Uvh couchbase-server-enterprise-5.5.0-2671-centos6.x86_64.rpm

      4. Server status is shown to be running:

       

      [root@node1-cb501-centos6 bin]# /etc/init.d/couchbase-server status
      couchbase-server is running
      [root@node1-cb501-centos6 bin]#
      

       

      But server doesn't come up.

       

      Saw following error messaged in the logs:

      rror_logger:error,2018-05-07T00:37:54.630-07:00,babysitter_of_ns_1@127.0.0.1:error_logger<0.6.0>:ale_error_logger_handler:do_log:203]** Generic server <0.1145.0> terminating
       
      ** Last message in was {#Port<0.4756>,{exit_status,3}}
       
      ** When Server state == {state,#Port<0.4756>,
       
                                  {ns_server,"/opt/couchbase/lib/erlang/bin/erl",
       
                                      ["+A","16","-smp","enable","+sbt","u","+P",
       
                                       "327680","+K","true","+swt","low","+MMmcs",
       
                                       "30","+e102400","-setcookie","nocookie",
       
                                       "-kernel","inet_dist_listen_min","21100",
       
                                       "inet_dist_listen_max","21299",
       
                                       "error_logger","false","-sasl",
       
                                       "sasl_error_logger","false","-user",
       
                                       "user_io","-run","child_erlang",
       
                                       "child_start","ns_bootstrap","--","-smp",
       
                                       "enable","-proto_dist","inet_tcp",
       
                                       "-couch_ini",
       
                                       "/opt/couchbase/etc/couchdb/default.ini",
       
                                       "/opt/couchbase/etc/couchdb/default.d/capi.ini",
       
                                       "/opt/couchbase/etc/couchdb/default.d/geocouch.ini",
       
                                       "/opt/couchbase/etc/couchdb/local.ini"],
       
                                      [{env,
       
                                           [{"NS_SERVER_BABYSITTER_COOKIE",
       
                                             "chyjtkwmvzdjdpfy"},
       
                                            {"NS_SERVER_BABYSITTER_PID","8825"},
       
                                            {"CHILD_ERLANG_ENV_ARGS",
       
                                             "[{kernel,\n     [{inet_dist_listen_min,21100},\n      {inet_dist_listen_max,21299},\n      {included_applications,[]},\n      {error_logger,false},\n      {global_enable_tracing,true}]},\n {sasl,\n     [{errlog_type,all},{included_applications,[]},{sasl_error_logger,false}]},\n {ns_babysitter,\n     [{nodefile,\n          \"/opt/couchbase/var/lib/couchbase/couchbase-server.babysitter.node\"},\n      {included_applications,[]},\n      {pidfile,\"/opt/couchbase/var/lib/couchbase/couchbase-server.pid\"},\n      {cookiefile,\n          \"/opt/couchbase/var/lib/couchbase/couchbase-server.babysitter.cookie\"}]},\n {ns_server,\n     [{max_t,10},\n      {included_applications,[]},\n      {loglevel_cluster,debug},\n      {path_config_libdir,\"/opt/couchbase/lib\"},\n      {path_config_tmpdir,\"/opt/couchbase/var/lib/couchbase/tmp\"},\n      {loglevel_ns_server,debug},\n      {loglevel_access,info},\n      {loglevel_error_logger,debug},\n      {loglevel_xdcr,debug},\n      {path_config_secdir,\"/opt/couchbase/etc/security\"},\n      {loglevel_mapreduce_errors,debug},\n      {loglevel_ns_doctor,debug},\n      {loglevel_default,debug},\n      {ipv6,false},\n      {loglevel_stats,debug},\n      {config_path,\"/opt/couchbase/etc/couchbase/static_config\"},\n      {loglevel_user,debug},\n      {error_logger_mf_dir,\"/opt/couchbase/var/lib/couchbase/logs\"},\n      {disk_sink_opts_json_rpc,\n          [{rotation,\n               [{compress,true},\n                {size,41943040},\n                {num_files,2},\n                {buffer_size_max,52428800}]}]},\n      {path_config_etcdir,\"/opt/couchbase/etc/couchbase\"},\n      {nodefile,\"/opt/couchbase/var/lib/couchbase/couchbase-server.node\"},\n      {path_config_bindir,\"/opt/couchbase/bin\"},\n      {net_kernel_verbosity,10},\n      {max_r,20},\n      {loglevel_rebalance,debug},\n      {loglevel_menelaus,debug},\n      {disk_sink_opts,\n          [{rotation,\n               [{compress,true},\n                {size,41943040},\n                {num_files,10},\n                {buffer_size_max,52428800}]}]},\n      {loglevel_views,debug},\n      {path_config_datadir,\"/opt/couchbase/var/lib/couchbase\"},\n      {loglevel_couchdb,info}]}]"},
       
                                            {"ERL_CRASH_DUMP",
       
                                             "erl_crash.dump.1525676964.8778.ns_server"}]},
       
                                       exit_status,use_stdio,stream,eof]},
       
                                  {ringbuffer,1054,1024,
       
                                      {[{<<" {init,start_em,1,[]}]">>,22},
       
                                        {<<" {init,start_it,1,[]},">>,22},
       
                                        {<<" {child_erlang,child_start,1,[{file,\"src/child_erlang.erl\"},{line,91}]},">>,
       
                                         72},
       
                                        {<<"[{child_erlang,do_child_start,1,[{file,\"src/child_erlang.erl\"},{line,113}]},">>,
       
                                         76},
       
                                        {<<"              {ns_server,start,[normal,[]]}}}}">>,
       
                                         46},
       
                                        {<<"                     [{file,\"proc_lib.erl\"},{line,239}]}]}}}}},">>,
       
                                         63},
       
                                        {<<"                    {proc_lib,init_p_do_apply,3,">>,
       
                                         48},
       
                                        {<<"                     [{file,\"gen_server.erl\"},{line,304}]},">>,
       
                                         59},
       
                                        {<<"                    {gen_server,init_it,6,">>,
       
                                         42},
       
                                        {<<"                     [{file,\"src/ns_config.erl\"},{line,802}]},">>,
       
                                         62},
       
                                        {<<"                    {ns_config,do_init,1,">>,
       
                                         41},
       
                                        {<<"                     [{file,\"src/ns_config.erl\"},{line,731}]},">>,
       
                                         62},
       
                                        {<<"                    {ns_config,do_upgrade_config,3,">>,
       
                                         51},
       
                                        {<<"                    {lists,foldl,3,[{file,\"lists.erl\"},{line,1248}]},">>,
       
                                         69},
       
                                        {<<"                     [{file,\"src/ns_config.erl\"},{line,732}]},">>,
       
                                         62},
       
                                        {<<"                   [{ns_config,'-do_upgrade_config/3-fun-0-',3,">>,
       
                                         63},
       
                                        {<<"                      false}]},">>,31}],
       
                                       [{<<"                  {{case_clause,">>,32},
       
                                        {<<"                    [{set,">>,26},
       
                                        {<<"                      {node,'ns_1@10.111.171.101',">>,
       
                                         50},
       
                                        {<<"                       {project_intact,is_vulnerable}},">>,
                                         55}]}},
                                  undefined,undefined,[],0}
      ** Reason for termination ==
      ** {abnormal,3}

      Attaching logs shortly.

       

       

      Attachments

        No reviews matched the request. Check your Options in the drop-down menu of this sections header.

        Activity

          People

            ajit.yagaty Ajit Yagaty [X] (Inactive)
            prasanna.gholap Prasanna Gholap [X] (Inactive)
            Votes:
            0 Vote for this issue
            Watchers:
            2 Start watching this issue

            Dates

              Created:
              Updated:
              Resolved:

              Gerrit Reviews

                There are no open Gerrit changes

                PagerDuty