Details
-
Bug
-
Resolution: Won't Do
-
Major
-
None
-
5.0.0
-
Hera
-
Untriaged
-
No
Description
Steps:
- Disable auto-compaction.
- Load 100M documents. I was using this job: http://perf.jenkins.couchbase.com/view/Dev/job/hera-kv/21/
- Go to the Administration UI and click "Compact" button.
Apparently, I was confused by abrupt progress bar (it goes straight from 0 to 100%). Compaction does work.
However, not all files are compacted.
Before compaction:
> ./env/bin/ansible -i clusters/hera.ini kv -a "ls -lh /data/bucket-1/"
|
172.23.96.120 | SUCCESS | rc=0 >>
|
total 81G
|
-rw-rw----. 1 couchbase couchbase 20G Aug 16 14:06 0.fdb.1
|
-rw-rw----. 1 couchbase couchbase 20G Aug 16 14:06 1.fdb.1
|
-rw-rw----. 1 couchbase couchbase 21G Aug 16 14:06 2.fdb.1
|
-rw-rw----. 1 couchbase couchbase 20G Aug 16 14:06 3.fdb.1
|
-rw-rw----. 1 couchbase couchbase 34 Aug 16 13:53 master.couch.1
|
-rw-rw----. 1 couchbase couchbase 881K Aug 16 14:08 stats.json
|
-rw-rw----. 1 couchbase couchbase 881K Aug 16 14:07 stats.json.old
|
|
|
172.23.96.119 | SUCCESS | rc=0 >>
|
total 94G
|
-rw-rw----. 1 couchbase couchbase 24G Aug 16 14:06 0.fdb.1
|
-rw-rw----. 1 couchbase couchbase 24G Aug 16 14:06 1.fdb.1
|
-rw-rw----. 1 couchbase couchbase 24G Aug 16 14:06 2.fdb.1
|
-rw-rw----. 1 couchbase couchbase 24G Aug 16 14:06 3.fdb.1
|
-rw-rw----. 1 couchbase couchbase 34 Aug 16 13:53 master.couch.1
|
-rw-rw----. 1 couchbase couchbase 880K Aug 16 14:08 stats.json
|
-rw-rw----. 1 couchbase couchbase 880K Aug 16 14:07 stats.json.old
|
|
|
172.23.96.117 | SUCCESS | rc=0 >>
|
total 78G
|
-rw-rw----. 1 couchbase couchbase 20G Aug 16 14:06 0.fdb.1
|
-rw-rw----. 1 couchbase couchbase 20G Aug 16 14:06 1.fdb.1
|
-rw-rw----. 1 couchbase couchbase 19G Aug 16 14:06 2.fdb.1
|
-rw-rw----. 1 couchbase couchbase 20G Aug 16 14:06 3.fdb.1
|
-rw-rw----. 1 couchbase couchbase 34 Aug 16 13:53 master.couch.1
|
-rw-rw----. 1 couchbase couchbase 878K Aug 16 14:08 stats.json
|
-rw-rw----. 1 couchbase couchbase 878K Aug 16 14:07 stats.json.old
|
|
|
172.23.96.118 | SUCCESS | rc=0 >>
|
total 97G
|
-rw-rw----. 1 couchbase couchbase 25G Aug 16 14:06 0.fdb.1
|
-rw-rw----. 1 couchbase couchbase 26G Aug 16 14:06 1.fdb.1
|
-rw-rw----. 1 couchbase couchbase 24G Aug 16 14:06 2.fdb.1
|
-rw-rw----. 1 couchbase couchbase 22G Aug 16 14:06 3.fdb.1
|
-rw-rw----. 1 couchbase couchbase 34 Aug 16 13:53 master.couch.1
|
-rw-rw----. 1 couchbase couchbase 879K Aug 16 14:08 stats.json
|
-rw-rw----. 1 couchbase couchbase 879K Aug 16 14:07 stats.json.old
|
After compaction:
172.23.96.117 | SUCCESS | rc=0 >>
|
total 21G
|
-rw-rw----. 1 couchbase couchbase 5.4G Aug 16 14:19 0.fdb.2
|
-rw-rw----. 1 couchbase couchbase 5.3G Aug 16 14:28 1.fdb.2
|
-rw-rw----. 1 couchbase couchbase 5.2G Aug 16 14:36 2.fdb.2
|
-rw-rw----. 1 couchbase couchbase 5.3G Aug 16 14:45 3.fdb.2
|
-rw-rw----. 1 couchbase couchbase 4.1K Aug 16 14:09 master.couch.2
|
-rw-rw----. 1 couchbase couchbase 878K Aug 16 14:59 stats.json
|
-rw-rw----. 1 couchbase couchbase 878K Aug 16 14:58 stats.json.old
|
|
|
172.23.96.119 | SUCCESS | rc=0 >>
|
total 94G
|
-rw-rw----. 1 couchbase couchbase 24G Aug 16 14:06 0.fdb.1
|
-rw-rw----. 1 couchbase couchbase 24G Aug 16 14:06 1.fdb.1
|
-rw-rw----. 1 couchbase couchbase 24G Aug 16 14:06 2.fdb.1
|
-rw-rw----. 1 couchbase couchbase 24G Aug 16 14:06 3.fdb.1
|
-rw-rw----. 1 couchbase couchbase 4.1K Aug 16 14:09 master.couch.2
|
-rw-rw----. 1 couchbase couchbase 880K Aug 16 14:59 stats.json
|
-rw-rw----. 1 couchbase couchbase 880K Aug 16 14:58 stats.json.old
|
|
|
172.23.96.118 | SUCCESS | rc=0 >>
|
total 21G
|
-rw-rw----. 1 couchbase couchbase 5.3G Aug 16 14:19 0.fdb.2
|
-rw-rw----. 1 couchbase couchbase 5.4G Aug 16 14:28 1.fdb.2
|
-rw-rw----. 1 couchbase couchbase 5.2G Aug 16 14:38 2.fdb.2
|
-rw-rw----. 1 couchbase couchbase 5.2G Aug 16 14:47 3.fdb.2
|
-rw-rw----. 1 couchbase couchbase 4.1K Aug 16 14:09 master.couch.2
|
-rw-rw----. 1 couchbase couchbase 879K Aug 16 14:59 stats.json
|
-rw-rw----. 1 couchbase couchbase 879K Aug 16 14:58 stats.json.old
|
|
|
172.23.96.120 | SUCCESS | rc=0 >>
|
total 81G
|
-rw-rw----. 1 couchbase couchbase 20G Aug 16 14:06 0.fdb.1
|
-rw-rw----. 1 couchbase couchbase 20G Aug 16 14:06 1.fdb.1
|
-rw-rw----. 1 couchbase couchbase 21G Aug 16 14:06 2.fdb.1
|
-rw-rw----. 1 couchbase couchbase 20G Aug 16 14:06 3.fdb.1
|
-rw-rw----. 1 couchbase couchbase 4.1K Aug 16 14:09 master.couch.2
|
-rw-rw----. 1 couchbase couchbase 881K Aug 16 14:59 stats.json
|
-rw-rw----. 1 couchbase couchbase 881K Aug 16 14:58 stats.json.old
|
Please note, you don't really need 100M documents to reproduce this issue. Also the same issue happens with auto-compaction.
