Uploaded image for project: 'Couchbase Kubernetes'
  1. Couchbase Kubernetes
  2. K8S-356

ResizeCluster call fails to add desired number of nodes to cluster during node failure case

    XMLWordPrintable

Details

    • Bug
    • Resolution: Fixed
    • Test Blocker
    • 1.0.0
    • None
    • operator

    Description

      TestNodeRecoveryKilledNewMember case is failing due to the failure in resize call failing to complete as intended.

      Console logs:

      --- FAIL: TestNodeRecoveryKilledNewMember (370.24s)
              crd_util.go:42: creating couchbase cluster: test-couchbase-45n9r
              util.go:520: 2018-06-04 14:01:43.541883143 +0530 IST m=+29.643848641 waiting size (1), healthy couchbase members: names ([])
              util.go:520: 2018-06-04 14:01:53.546160814 +0530 IST m=+39.648079790 waiting size (1), healthy couchbase members: names ([])
              util.go:520: 2018-06-04 14:02:03.546051917 +0530 IST m=+49.647924391 waiting size (1), healthy couchbase members: names ([])
              util.go:520: 2018-06-04 14:02:13.546507082 +0530 IST m=+59.648333053 waiting size (1), healthy couchbase members: names ([])
              util.go:520: 2018-06-04 14:02:23.546521077 +0530 IST m=+69.648300544 waiting size (1), healthy couchbase members: names ([])
              util.go:520: 2018-06-04 14:02:33.548567746 +0530 IST m=+79.650300703 waiting size (1), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:02:33.554900755 +0530 IST m=+79.656633683 waiting for buckets to be ready ([default])
              util.go:520: 2018-06-04 14:02:33.554977076 +0530 IST m=+79.656710004 bucket (default), not ready: (<nil>)
              util.go:520: 2018-06-04 14:02:43.556860234 +0530 IST m=+89.658546650 waiting for buckets to be ready ([default])
              util.go:544: Changing Cluster Size To: 3...
              util.go:553: Waiting For Cluster Size To Be: 3...
              util.go:520: 2018-06-04 14:02:43.590509494 +0530 IST m=+89.692195753 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:02:53.595497446 +0530 IST m=+99.697137179 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:03:03.591534803 +0530 IST m=+109.693128053 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:03:13.592505271 +0530 IST m=+119.694052015 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:03:23.595459655 +0530 IST m=+129.696959883 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:03:33.595758217 +0530 IST m=+139.697211944 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:03:43.593916183 +0530 IST m=+149.695323417 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:03:53.59432545 +0530 IST m=+159.695686181 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:04:03.595350558 +0530 IST m=+169.696664787 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:04:13.596644538 +0530 IST m=+179.697912263 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:04:23.593436799 +0530 IST m=+189.694658042 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:04:33.597995476 +0530 IST m=+199.699170200 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:04:43.595289511 +0530 IST m=+209.696417750 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:04:53.592914145 +0530 IST m=+219.693995897 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:05:03.596577607 +0530 IST m=+229.697612844 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:05:13.594051548 +0530 IST m=+239.695040299 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:05:23.594893686 +0530 IST m=+249.695835936 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:05:33.59680699 +0530 IST m=+259.697702733 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:05:43.596354018 +0530 IST m=+269.697203266 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:05:53.597968252 +0530 IST m=+279.698770995 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:06:03.597329544 +0530 IST m=+289.698085792 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:06:13.595909852 +0530 IST m=+299.696619609 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:06:23.59732006 +0530 IST m=+309.697983313 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:06:33.597933935 +0530 IST m=+319.698550687 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:06:43.60019096 +0530 IST m=+329.700761204 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:06:53.593882829 +0530 IST m=+339.694406605 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:07:03.59283216 +0530 IST m=+349.693309443 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:07:13.593747156 +0530 IST m=+359.694177937 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:07:23.595678866 +0530 IST m=+369.696063140 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:07:33.593116879 +0530 IST m=+379.693454668 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              util.go:520: 2018-06-04 14:07:43.59305363 +0530 IST m=+389.693344921 waiting size (3), healthy couchbase members: names ([test-couchbase-45n9r-0000])
              node_test.go:436: still failing after 30 retries
              util.go:452: Deleting clusters: [[test-couchbase-45n9r]]
              util.go:454: Attempting to delete: [test-couchbase-45n9r]
              util.go:459: Successfully deleted: [test-couchbase-45n9r]
              util.go:466: Killing pods: [test-couchbase-45n9r-0000 test-couchbase-45n9r-0001]
              util.go:470: Waiting for deletion of pod: test-couchbase-45n9r-0000
              util.go:470: Waiting for deletion of pod: test-couchbase-45n9r-0001

      Attachments

        Issue Links

          No reviews matched the request. Check your Options in the drop-down menu of this sections header.

          Activity

            People

              simon.murray Simon Murray
              ashwin.govindarajulu Ashwin Govindarajulu
              Votes:
              0 Vote for this issue
              Watchers:
              1 Start watching this issue

              Dates

                Created:
                Updated:
                Resolved:

                Gerrit Reviews

                  There are no open Gerrit changes

                  PagerDuty