#chuyencuasys.com

“DevOps is bullshit”

Somethings about Lizardfs January 29, 2020

Hi there, I’m back from the Tet holiday (Lunar New year in Asia) and nice to write something about Lizardfs, which the best distributed software storage at this time.
My name is Nhan Pham T., live in Ho Chi Minh City, Vietnam, where is UTC + 07:00. I’m a dad, a blogger and a dreamer 🙂
I speak Vietnamese and English, and use Python, Bash, and some PHP for daily task or small pet projects.
I started my professional working as a Python developer and spend more than 6 years for using Linux and opensource software. At fact, I haven’t a personal laptop or macbook. I started research for a distributed file system/ storage when I tried to learn Docker in early 2013. I builded a small lab with Ceph and use it for container. After years, I used Lizardfs for our projects in the my company, which is a biggest Vietnamese technology company, founded in 2004, specializing in digital content and online entertainment, social networking, and e-commerce.
LizardFS was chosen as our solution as it’s flexible, efficient and easy to setup. We have been using it since 04/2019 as the distributed file system within our product. Before that, we used physical disk for all storage with RAID 5, 6 for file and objects, We tried GlusterFS, Ceph and some solution from HP or Dell in lab or development.
Lizardfs have URAFT for High Metadata Availability, something like MooseFS Pro, but it’s opensource.
Lizardfs is easy to learn but it’s document is not up-to-date, and alot for issues of this project in github are open and seem to not close or fix.
Distributed file system is really a nightmare with the system engineer like me. Alot of issue and some incident.
I think multithreading is must be implement it next relase (https://github.com/lizardfs/lizardfs/issues/476) and a webmin to administration (https://github.com/lizardfs/lizardfs/issues/546)
and reduce memory usage of master server. In my case, I have 256GB RAM for the cluster but I don’t think it enough to lead many chunkservers to exabyte :d

==)) Stupid english but this is first time I write an article in 2020, have fun!!!

No Comments on Somethings about Lizardfs
Categories: Linh tinh

Tản mạn chuyện đầu năm January 24, 2020

Chào các bạn lại là mình đây , năm cũ đã qua và năm mới đã tới . Lời đầu tiên mình xin chúc tất cả các anh em DevOps , SRE , SysOps lẫn Dev có một năm mới làm việc hiệu quả , có thêm nhiều bug , issue , sự cố mới trong hệ thống để sang năm có thêm kinh nghiệm cũng như có cái để deal lương với sếp =))) .

Năm 2019 vừa qua là một năm quả thật thành công đối với bản thân của mình , được biết những người bạn mới , những công nghệ mới , những bài học mới  và những người dẫn dắt để trau dồi cho bản thân ngày càng hoàn thiện hơn .

Cảm ơn tất cả những người bạn , những người đồng đội , những người anh em và cả những người đã dẫn dắt giúp đỡ mình trong năm qua … Chúc cho tất cả mọi người có một năm mới an khang thịnh vượng , hạnh phúc và may mắn .

 

No Comments on Tản mạn chuyện đầu năm
Categories: Linh tinh

Chuyện của sys 2019 có cái gì? October 17, 2019

Hơn 1 năm rồi không có 1 bài viết hay cái gì mới, thậm chí còn down lên down xuống do vụ hosting? Đôi khi cũng không biết duy trì blog để làm gì? cho bản thân hay cho ai khác? vì cộng đồng hay không?

Tự dặn mình sẽ viết những bài có tính chia sẻ hơn về những thứ đã và đang trải qua, về tâm sinh lý tuổi gần 30, công việc sự nghiệp sức khỏe gia đình.

Đoán xem.

No Comments on Chuyện của sys 2019 có cái gì?
Categories: Linh tinh

[Fix lỗi] rpmdb: Thread/process xxx failed: Thread died in Berkeley DB library September 19, 2018

Hỏi nhỏ

Bạn có biết command này để làm gì ko?

rpm -q –queryformat ‘%{VERSION}’ centos-release

Command này để lấy được version CentOS của server , thường được tìm thấy trong /etc/centos-release, ví dụ, đây là con server của mình.

cat /etc/centos-release

CentOS release 6.9 (Final)

Nhưng không may là khi chạy thì nó gặp lỗi sau:

rpmdb: Thread/process 15564/140193669781248 failed: Thread died in Berkeley DB library
error: db3 error(-30974) from dbenv->failchk: DB_RUNRECOVERY: Fatal error, run database recovery
error: cannot open Packages index using db3 – (-30974)
error: cannot open Packages database in /var/lib/rpm
rpmdb: Thread/process 15564/140193669781248 failed: Thread died in Berkeley DB library
error: db3 error(-30974) from dbenv->failchk: DB_RUNRECOVERY: Fatal error, run database recovery
error: cannot open Packages database in /var/lib/rpm
package centos-release is not installed

🙁 Có vẻ như là DB của rpm có vấn đề.

Cách giải quyết

Mình thử yum clean all thử:

yum clean all

rpmdb: Thread/process 15564/140193669781248 failed: Thread died in Berkeley DB library
error: db3 error(-30974) from dbenv->failchk: DB_RUNRECOVERY: Fatal error, run database recovery
error: cannot open Packages index using db3 – (-30974)
error: cannot open Packages database in /var/lib/rpm
CRITICAL:yum.main:

Error: rpmdb open failed

Éc, rõ ràng là rpmdb ko thể mở được rồi, giờ chỉ có cách xóa đi và rebuild lại thôi.

Mình thử các command sau:

[[email protected] ~]# mkdir /var/lib/rpm/backup
[[email protected]rv ~]# cp -a /var/lib/rpm/__db* /var/lib/rpm/backup/
[[email protected] ~]# rm -f /var/lib/rpm/__db.[0-9][0-9]*
[[email protected] ~]# rpm –quiet -qa
[[email protected] ~]# rpm –rebuilddb

 

[[email protected] ~]# yum clean all

Loaded plugins: fastestmirror, security
Cleaning repos: base centos-sclo-rh centos-sclo-sclo epel extras google-cloud-compute labs_consol_stable updates
Cleaning up Everything
Cleaning up list of fastest mirrors

Sau đó check lại:

rpm -q –queryformat ‘%{VERSION}’ centos-release

6

Ra kết quả rồi này 😀

Cảm ơn bài viết đã giúp mình xử lý vấn đề trong 1p.

 

1 Comment on [Fix lỗi] rpmdb: Thread/process xxx failed: Thread died in Berkeley DB library
Tags: ,
Categories: Linh tinh

10 cách để trở thành một ông bố TỐT HƠN July 8, 2018

Đôi khi bạn phải phân vân khi chọn lựa giữa những điều quan trọng, cái nào ưu tiên làm trước, cái nào có thể làm sau, nhưng khi tới 1 thời điểm nào đó trong cuộc đời của bạn, gia đình thực sự là điều gì rất quan trọng và “không điều gì quan trọng bằng gia đình”.

Bài viết mình vô tình thấy được sau khi google search, cảm thấy khá hay nên mình xin chia sẻ lại ở đây.

10 cách để trở thành một ông bố TỐT HƠN

  1. Trân trọng người mẹ của trẻ
    Một trong những điều tốt nhất người cha có thể làm cho con mình đó là trân trọng mẹ của con. Nếu hai người đã kết hôn, hãy giữ cho cuộc hôn nhân vững bền và hạnh phúc. Ngay cả nếu hai người không sống bên nhau, điều rất quan trọng là bạn vẫn cần trân trọng và giúp đỡ mẹ của trẻ. Khi người bố và người mẹ tôn trọng lẫn nhau và để cho trẻ thấy được điều đó, sẽ tạo nên một môi trường an toàn và yên ổn cho trẻ. Khi đứa trẻ thấy cha mẹ mình trân trọng nhau, chúng cũng sẽ cảm thấy chính mình được chấp nhận và được trân trọng hơn.
  2. Dành ra thời gian để ở bên con
    Cách người bố sử dụng thời gian như thế nào thể hiện điều gì là quan trọng với ông, dưới con mắt của người con. Nếu bạn luôn tỏ cho con thấy bạn quá bận rộn, con bạn sẽ cảm thấy mình không được quan tâm, coi trọng, bất kể bạn có nói thế nào đi nữa. Dành thời gian cho lũ trẻ luôn đồng nghĩa với việc bạn phải hy sinh một vài điều khác, nhưng điều đó là căn bản và tối cần thiết. Lũ trẻ lớn lên rất nhanh, những cơ hội một khi đã mất đi sẽ mất đi mãi mãi.
  3. Dành lấy quyền lắng nghe
    Thông thường một khi người bố nói chuyện với con, đều là những lúc chúng đã mắc lỗi lầm gì đó. Đó là lí do vì sao rất nhiều đứa trẻ cảm thấy sợ hãi khi mẹ chúng nói: “Bố con muốn nói chuyện với con đấy.” Hãy bắt đầu nói chuyện với con từ khi chúng con bé bỏng để rồi những chủ đề khó khăn hơn sẽ được giải quyết 1 cách đơn giản hơn khi con bạn lớn lên. Hãy dành thời gian, lắng nghe tất cả những ý tưởng cũng như những vấn đề của con.
  4. Phạt trẻ một cách yêu thương
    Tất cả những đứa trẻ đều cần sự chỉ bảo và đôi khi là nguyên tắc cứng rắn, nhưng không phải là để trừng phạt, mà là để đặt ra những giới hạn hợp lý. Hãy nhắc nhở con bạn về hậu quả có thể xảy ra từ những hành động của con, và dành cho con những phần thưởng ý nghĩa nếu chúng thể hiện như mong đợi. Những người cha nghiêm khắc một cách điềm tĩnh và công bằng chính là đang thể hiện tình yêu của mình dành cho con.
  5. Trở thành một hình mẫu tốt
    Những người cha chính là hình mẫu cho con mình bất kể họ có nhận ra hay không. Một cô gái nếu được lớn lên trong tình yêu thương của bố sẽ trường thành trong niềm tin và nhận thức rằng mình xứng đáng được tôn trọng như thế nào bởi các chàng trai, và cần phải tìm kiếm điều gì ở một người chồng. Những người bố có thể dạy cho con trai mình điều gì trong cuộc sống là quan trọng thông qua chính sự chân thành, trách nhiệm và đạo đức trong cách sống của mình. “Thế giới này là một sân khấu lớn…” và người bố đang đóng một trong những vai chính yếu nhất.
  6. Trở thành một người thầy
    Rất nhiều người bố nghĩ rằng việc dạy dỗ là công việc của người khác chứ không phải mình. Nhưng nếu một người bố dạy cho con mình biết đúng-sai, và khuyến khích con luôn làm hết sức mình, sẽ nhận được phần thưởng lớn lao khi nhận thấy con họ thường có những quyết định đúng đắn. Những người bố tốt dùng những ví dụ nhỏ hàng ngày để giúp con mình có được những bài học cơ bản về cuộc sống.
  7. Thường xuyên có những bữa cơm gia đình
    Cùng ăn với nhau (ăn sáng, ăn trưa, ăn tối….) là một phần quan trọng cho một cuộc sống gia đình hạnh phúc. Ngoài việc giúp giữ cấu trúc rõ ràng cho một ngày bận rộn, không để công việc chen lấn các phần khác của cuộc sống, những bữa ăn đó còn mang đến cho lũ trẻ cơ hội được nói về chúng, chúng đã làm gì, muốn làm gì. Đó là thời điểm tuyệt vời để người bố có thể lắng nghe và đưa ra những lời khuyên. Quan trọng nhất, đó là thời gian để cả gia đình có thể ở bên nhau mỗi ngày.
  8. Đọc sách cho con nghe
    Trong một thế giới mà truyền hình và internet thường chiếm trọn cuộc sống của lũ trẻ, việc những người bố có ý thức dành ra thời gian đọc sách cho con là rất quan trọng. Trẻ em học hỏi tốt nhất thông qua việc đọc, cũng như quan sát và lắng nghe. Hãy bắt đầu việc đọc sách cho con ngay từ khi chúng còn rất nhỏ. Khi chúng lớn hơn 1 chút, hãy khuyến khíchchúng tự đọc. Khiến sự yêu thích việc đọc trở thành một phần tự nhiên của con cái là một trong những cách tốt nhất để chắc chắn rằng chúng sẽ có một cuộc sống thành đạt cả trên góc độ con người và sự nghiệp.
  9. Thể hiện tình thương yêu
    Trẻ em cần có cảm giác an toàn khi biết rằng chúng được chấp nhận, chào đón, và yêu thương bởi gia đình. Những người lớn, đặc biệt là người bố, cần phải cảm thấy thoải mái khi, và mong muốn được, ôm hay vỗ về con họ. Thể hiện tình thương yêu mỗi ngày qua những hành động là cách tốt nhất để con bạn hiểu rằng bạn yêu chúng.
  10. Nhận thức rằng công việc của một người bố không bao giờ hoàn thành
    Ngay cả khi con cái đã trưởng thành, chúng vẫn hướng về người bố để tìm đến những lời khuyên và sự thông thái từ ông. Bất kể đó là việc nên học tiếp hay không, một công việc mới, hay một đám cưới tới gần, người bố luôn tiếp tục đóng một vai trò quan trọng trong cuộc sống của con cùng với việc chúng lớn lên, và có thể, tiến tới hôn nhân và xây dựng gia đình riêng của chúng.

No Comments on 10 cách để trở thành một ông bố TỐT HƠN

Tối ưu hệ thống để tăng performance cho Elasticsearch trên Centos 7 May 27, 2018

Sau bài hướng dẫn cài đặt và cấu hình cơ bản, chúng ta tiếp tục đi tới phần nâng cao để có 1 hệ thống Elasticsearch đáp ứng được performance tốt hơn, bài viết này cóp nhặt với nhiều nguồn khác nhau, hi vọng giúp bạn có thêm những cách tối ưu cho hệ thống đang chạy của bạn.

1. Tăng số lượng file descriptors lên 64K

vi /etc/security/limits.conf

elasticsearch – nofile 65536
elasticsearch – memlock unlimited

su – elasticsearch

ulimit -n
65536

ulimit -l
unlimited

2. Tăng virtual memory

Elasticsearch sử dụng thư mục mmapfs theo mặc định để lưu trữ các chỉ số của nó. Giới hạn hệ điều hành mặc định về số lượng mmap có thể quá thấp, điều này có thể dẫn đến các lỗi của bộ nhớ. Vì vậy ta có thể tăng số lượng lên bằng câu lệnh sau trên Centos 7.

sysctl -w vm.max_map_count=262144
vm.max_map_count = 262144

3. Tắt swap

Mặc định thì hệ điều hành Centos 7 để swappiness bằng 30, tuy nhiên để tối ưu cho Elasticsearch hoàn toàn không sử dụng swap nên chúng ta sẽ tắt nó đi.

sysctl vm.swappiness=0
vm.swappiness = 0

4. Tối ưu config/jvm.options

Chúng ta luôn set giá trị min và max JVM heap size bằng nhau, thường ở mức 1/2 tổng bộ nhớ RAM physical, tối đa không vượt quá 30.5GB

## IMPORTANT: JVM heap size
################################################################
##
## You should always set the min and max JVM heap
## size to the same value. For example, to set
## the heap to 4 GB, set:
##
## -Xms4g
## -Xmx4g
##
## See https://www.elastic.co/guide/en/elasticsearch/reference/current/heap-size.html
## for more information
##

Cấu hình GC, log4j cũng ở trong config này, ( cái này expert quá nên mình chưa thử)

5. Cấu hình Elasticsearch 

vi config/elasticsearch.yml

Lock toàn bộ memory khi khởi động

bootstrap.mlockall: true

# Lock the memory on startup:
#
#bootstrap.memory_lock: true
#
# Make sure that the heap size is set to about half the memory available
# on the system and that the owner of the process is allowed to use this
# limit.
#
# Elasticsearch performs poorly when the system is swapping the memory.
#

Một số cấu hình khác:

“indices.memory.index_buffer_size”: “30%”
“index.translog.flush_threshold_ops”: 50000
“index.refresh_interval”: “5s”
“index.store.type”: “mmapfs”

Trên đây là 1 số cấu hình cần được tối ưu để chạy Elasticsearch, hi vọng có thể giúp bạn lúc bắt đầu, tuy nhiên, có thể 1 số cấu hình không được chính xác và mang tính chủ quan, hi vọng được sự góp ý của các bạn.

 

1 Comment on Tối ưu hệ thống để tăng performance cho Elasticsearch trên Centos 7
Categories: Tài liệu

Hướng dẫn cài đặt và cấu hình Elasticsearch trên Centos 7

Giới thiệu

Elasticsearch là một phần mềm mã nguồn mở và miễn phí  của Elastic, dựa trên Apache Lucene, là platform được sử dụng cho việc phân phối tìm kiếm và phân tích dữ liệu trong thời gian thực, được sử dụng rộng rãi do tính dễ sử dụng, tính năng mạnh mẽ và khả năng mở rộng tốt, bạn có thể sử dụng các phương thức HTTP để giao tiếp qua RESTful để thao tác với dữ liệu, thân thiện với người sử dụng cũng như các nhà phát triển.

Elasticsearch được sử dụng rộng rãi cho các dự án cá nhân cũng như là search engine chính trong các công ty lớn.
Tuy có rất nhiều bài viết, tutorial đề cập tới việc hướng dẫn cài đặt cũng như cấu hình, nhưng hi vọng bài viết này sẽ cung cấp cho bạn 1 cách chi tiết và trọn vẹn nhất để thực hiện trên bản Centos 7 và Elasticsearch phiên bản mới nhất 6.2

Các bước cài đặt

1. Cài đặt Java 8

Do Elasticsearch được viết bằng Java nên bạn cần có 1 JRE để chạy nó, ở đây mình sử dụng JDK 8 bản update 171 mới nhất.

Link download:

wget http://download.oracle.com/otn-pub/java/jdk/8u171-b11/512cd62ec5174c3487ac17c61aaa89e8/jdk-8u171-linux-x64.tar.gz
tar -xvzf jdk-8u171-linux-x64.tar.gz
mv jdk1.8.0_171 /opt/

Cấu hình biến môi trường cho toàn bộ user:

vi /etc/profile
export JAVA_HOME=/opt/jdk1.8.0_171
export PATH=$PATH:$JAVA_HOME/bin
. /etc/profile

Verify:

java -version
java version “1.8.0_171”
Java(TM) SE Runtime Environment (build 1.8.0_171-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)

2. Download và cài đặt Elasticsearch

 

Vào trang chủ https://www.elastic.co/downloads và download bản mới nhất hiện tại là 6.2.4

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.tar.gz
tar -xvzf elasticsearch-6.2.4.tar.gz
mv elasticsearch-6.2.4 /data/elastic/elasticsearch

Tạo user elasticsearch và thư mục /data/elatic/

adduser elasticsearch
chown -R elasticsearch. /data/elastic/
su – elasticsearch
cd /data/elastic/elasticsearch/

Cấu trúc thư mục như sau:

ls
bin lib logs NOTICE.txt README.textile
config LICENSE.txt modules plugins

3. Cấu hình Elasticsearch

Các file cấu hình cần chú ý:

ls config/
elasticsearch.yml jvm.options log4j2.properties

Bạn có thể sửa lại theo ý mình cho các file config này, nếu không cần thiết thì để nguyên và thực hiện sau trong phần tunning cho Elasticsearch.

Khởi chạy Elasticsearch

./bin/elasticsearch

Sample output:

[2018-05-28T02:56:03,739][INFO ][o.e.n.Node ] [] initializing …
[2018-05-28T02:56:03,846][INFO ][o.e.e.NodeEnvironment ] [zqsXYde] using [1] data paths, mounts [[/ (rootfs)]], net usable_space [10.4gb], net total_space [17.4gb], types [rootfs]
[2018-05-28T02:56:03,846][INFO ][o.e.e.NodeEnvironment ] [zqsXYde] heap size [1007.3mb], compressed ordinary object pointers [true]
[2018-05-28T02:56:03,850][INFO ][o.e.n.Node ] node name [zqsXYde] derived from node ID [zqsXYdeEQ8ifax0sYq72gg]; set [node.name] to override
[2018-05-28T02:56:03,850][INFO ][o.e.n.Node ] version[6.2.4], pid[1624], build[ccec39f/2018-04-12T20:37:28.497551Z], OS[Linux/3.10.0-693.5.2.el7.x86_64/amd64], JVM[Oracle Corporation/Java HotSpot(TM) 64-Bit Server VM/1.8.0_171/25.171-b11]
[2018-05-28T02:56:03,851][INFO ][o.e.n.Node ] JVM arguments [-Xms1g, -Xmx1g, -XX:+UseConcMarkSweepGC, -XX:CMSInitiatingOccupancyFraction=75, -XX:+UseCMSInitiatingOccupancyOnly, -XX:+AlwaysPreTouch, -Xss1m, -Djava.awt.headless=true, -Dfile.encoding=UTF-8, -Djna.nosys=true, -XX:-OmitStackTraceInFastThrow, -Dio.netty.noUnsafe=true, -Dio.netty.noKeySetOptimization=true, -Dio.netty.recycler.maxCapacityPerThread=0, -Dlog4j.shutdownHookEnabled=false, -Dlog4j2.disable.jmx=true, -Djava.io.tmpdir=/tmp/elasticsearch.BOVwKawi, -XX:+HeapDumpOnOutOfMemoryError, -XX:+PrintGCDetails, -XX:+PrintGCDateStamps, -XX:+PrintTenuringDistribution, -XX:+PrintGCApplicationStoppedTime, -Xloggc:logs/gc.log, -XX:+UseGCLogFileRotation, -XX:NumberOfGCLogFiles=32, -XX:GCLogFileSize=64m, -Des.path.home=/data/elastic/elasticsearch, -Des.path.conf=/data/elastic/elasticsearch/config]

….

[2018-05-28T02:56:09,185][INFO ][o.e.t.TransportService ] [zqsXYde] publish_address {127.0.0.1:9300}, bound_addresses {[::1]:9300}, {127.0.0.1:9300}
[2018-05-28T02:56:09,200][WARN ][o.e.b.BootstrapChecks ] [zqsXYde] max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
[2018-05-28T02:56:09,201][WARN ][o.e.b.BootstrapChecks ] [zqsXYde] max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
[2018-05-28T02:56:12,290][INFO ][o.e.c.s.MasterService ] [zqsXYde] zen-disco-elected-as-master ([0] nodes joined), reason: new_master {zqsXYde}{zqsXYdeEQ8ifax0sYq72gg}{3MVumgkjQGK04HXp82FPCA}{127.0.0.1}{127.0.0.1:9300}
[2018-05-28T02:56:12,311][INFO ][o.e.c.s.ClusterApplierService] [zqsXYde] new_master {zqsXYde}{zqsXYdeEQ8ifax0sYq72gg}{3MVumgkjQGK04HXp82FPCA}{127.0.0.1}{127.0.0.1:9300}, reason: apply cluster state (from master [master {zqsXYde}{zqsXYdeEQ8ifax0sYq72gg}{3MVumgkjQGK04HXp82FPCA}{127.0.0.1}{127.0.0.1:9300} committed version [1] source [zen-disco-elected-as-master ([0] nodes joined)]])
[2018-05-28T02:56:12,361][INFO ][o.e.g.GatewayService ] [zqsXYde] recovered [0] indices into cluster_state
[2018-05-28T02:56:12,368][INFO ][o.e.h.n.Netty4HttpServerTransport] [zqsXYde] publish_address {127.0.0.1:9200}, bound_addresses {[::1]:9200}, {127.0.0.1:9200}
[2018-05-28T02:56:12,368][INFO ][o.e.n.Node ] [zqsXYde] started

Trong output trên có warning những thứ cần phải tunning cho phù hợp, mình sẽ đề cập ở bài viết sau.

4. Kiểm tra hoạt động

Ctrl + Z để thoát và bg để chạy backgroud

^Z
[1]+ Stopped ./bin/elasticsearch
bg
[1]+ ./bin/elasticsearch &

Verify process đang chạy:

ps aux |grep elastic |grep java
elastic+ 1624 11.3 66.0 3626528 1233032 pts/0 Sl 02:55 0:20 /opt/jdk1.8.0_171/bin/java -Xms1g -Xmx1g -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+AlwaysPreTouch -Xss1m -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Djna.nosys=true -XX:-OmitStackTraceInFastThrow -Dio.netty.noUnsafe=true -Dio.netty.noKeySetOptimization=true -Dio.netty.recycler.maxCapacityPerThread=0 -Dlog4j.shutdownHookEnabled=false -Dlog4j2.disable.jmx=true -Djava.io.tmpdir=/tmp/elasticsearch.BOVwKawi -XX:+HeapDumpOnOutOfMemoryError -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -XX:+PrintGCApplicationStoppedTime -Xloggc:logs/gc.log -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=32 -XX:GCLogFileSize=64m -Des.path.home=/data/elastic/elasticsearch -Des.path.conf=/data/elastic/elasticsearch/config -cp /data/elastic/elasticsearch/lib/* org.elasticsearch.bootstrap.Elasticsearch

Verify port đang lắng nghe

netstat -aonp |grep java |grep 9*00
(Not all processes could be identified, non-owned process info
will not be shown, you would have to be root to see it all.)
tcp6 0 0 127.0.0.1:9200 :::* LISTEN 1624/java off (0.00/0/0)
tcp6 0 0 ::1:9200 :::* LISTEN 1624/java off (0.00/0/0)
tcp6 0 0 127.0.0.1:9300 :::* LISTEN 1624/java off (0.00/0/0)
tcp6 0 0 ::1:9300 :::* LISTEN 1624/java off (0.00/0/0)

Bằng HTTP

curl -X GET ‘http://localhost:9200’
{
“name” : “zqsXYde”,
“cluster_name” : “elasticsearch”,
“cluster_uuid” : “jvbM2A4XRhmYoDgD_tmzSg”,
“version” : {
“number” : “6.2.4”,
“build_hash” : “ccec39f”,
“build_date” : “2018-04-12T20:37:28.497551Z”,
“build_snapshot” : false,
“lucene_version” : “7.2.1”,
“minimum_wire_compatibility_version” : “5.6.0”,
“minimum_index_compatibility_version” : “5.0.0”
},
“tagline” : “You Know, for Search”
}

Testing:

Thử POST 1 document

curl -X POST -H ‘Content-Type: application/json’ ‘http://localhost:9200/chuyencuasys/elastic_note/1’ -d ‘{ “message”: “Hello World!” }’

[2018-05-28T03:04:24,379][INFO ][o.e.c.m.MetaDataCreateIndexService] [zqsXYde] [chuyencuasys] creating index, cause [auto(bulk api)], templates [], shards [5]/[1], mappings []
[2018-05-28T03:04:24,814][INFO ][o.e.c.m.MetaDataMappingService] [zqsXYde] [chuyencuasys/tpb7MoIpRSqLobimaUFVZg] create_mapping [elastic_note]
{“_index”:”chuyencuasys”,”_type”:”elastic_note”,”_id”:”1″,”_version”:1,”result”:”created”,”_shards”:{“total”:2,”successful”:1,”failed”:0},”_seq_no”:0,”_primary_term”:1}

Sau đó GET:

curl -X GET ‘http://localhost:9200/chuyencuasys/elastic_note/1’

{“_index”:”chuyencuasys”,”_type”:”elastic_note”,”_id”:”1″,”_version”:1,”found”:true,”_source”:{ “message”: “Hello World!” }}

View cho dễ nhìn hơn với pretty

curl -X GET ‘http://localhost:9200/chuyencuasys/elastic_note/1?pretty’

{
“_index” : “chuyencuasys”,
“_type” : “elastic_note”,
“_id” : “1”,
“_version” : 1,
“found” : true,
“_source” : {
“message” : “Hello World!”
}
}

Như vậy là chúng ta đã xong phần cơ bản với cài đặt và cấu hình Elasticsearch, rất đơn giản và dễ hiểu phải không nào? Phần tiếp theo mình sẽ viết thêm về tunning và cấu hình nâng cao, cũng như một số thành phần có liên quan để xây dựng 1 hệ sản phẩm Elastic.

No Comments on Hướng dẫn cài đặt và cấu hình Elasticsearch trên Centos 7

Hướng dẫn fix lỗi “not enough physical memory” trên VMWare Workstation/Player trên Ubuntu March 29, 2018

VMWare Player là 1 phần mềm ảo hóa được sử dụng rộng rãi trong cộng đồng system admin, phục vụ cho việc làm lab cũng như thử nghiệm những hệ điều hành mới mà không cần phải cài đặt trên máy host và đây là phần mềm ưa thích của mình thay vì cài VirtualBox hay VMWare Workstation.

Thông tin về hệ thống, VMWare Player 14.0.0 trên OS kernel 4.13.0-37-gerenic

Tuy nhiên, sau khi cài đặt bản VmWare Workstation 14 Player trên Ubuntu 16.04 thì mình gặp phải lỗi sau khi tạo 1 VM.

Mặc dù RAM của host còn available rất nhiều 😕

Sau khi search google thì mình được biết đây là bug của VMWare trên host kernel 4.13 và mình đã follow thực hiện hotfix theo các bước sau.

Thông tin hotfix ở đây https://github.com/mkubecek/vmware-host-modules/commit/770c7ffe611520ac96490d235399554c64e87d9f

cd /tmp/
sudo cp -r /usr/lib/vmware/modules/source/vmmon.tar .
tar xf vmmon.tar
sudo rm -rf vmmon.tar
wget https://raw.githubusercontent.com/mkubecek/vmware-host-modules/fadedd9c8a4dd23f74da2b448572df95666dfe12/vmmon-only/linux/hostif.c
mv -f hostif.c vmmon-only/linux/
tar cf vmmon.tar vmmon-only
sudo mv -f vmmon.tar /usr/lib/vmware/modules/source/
sudo vmware-modconfig –console –install-all

Như vậy là đã fix xong lỗi trên rồi, tiếp tục làm việc thôi 🙂

 

 

No Comments on Hướng dẫn fix lỗi “not enough physical memory” trên VMWare Workstation/Player trên Ubuntu

Hướng dẫn compile nginx support gRPC trên Centos 7 March 26, 2018

Nginx đã bắt đầu hỗ trợ gRPC từ bản 1.13.10, tuy nhiên vẫn trang trên mainline, chưa stable, thông tin được cập nhật từ trang chủ https://www.nginx.com/blog/nginx-1-13-10-grpc/

Sau đây, mình sẽ hướng dẫn các bạn complie nginx từ source theo document https://docs.nginx.com/nginx/admin-guide/installing-nginx/installing-nginx-open-source/ trên Centos 7.

Fact:

cat /etc/redhat-release
CentOS Linux release 7.3.1611 (Core)

Cài các gói phụ thuộc cần thiết bao gồm, openssl, zlib, pcre

$ wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.41.tar.gz
$ tar -zxf pcre-8.41.tar.gz
$ cd pcre-8.41
$ ./configure
$ make
$ make install

$ wget http://zlib.net/zlib-1.2.11.tar.gz
$ tar -zxf zlib-1.2.11.tar.gz
$ cd zlib-1.2.11
$ ./configure
$ make
$ make install

$ wget http://www.openssl.org/source/openssl-1.0.2k.tar.gz
$ tar -zxf openssl-1.0.2k.tar.gz
$ cd openssl-1.0.2k
$ ./config–prefix=/usr
$ make
$ make install

Download source

$ wget http://nginx.org/download/nginx-1.13.10.tar.gz
$ tar zxf nginx-1.13.10.tar.gz
$ cd nginx-1.13.10

Nhớ thêm 2 module –with-http_ssl_module –with-http_v2_module
./configure –sbin-path=/usr/local/nginx/nginx –conf-path=/usr/local/nginx/nginx.conf –pid-path=/usr/local/nginx/nginx.pid –with-http_ssl_module –with-stream –with-pcre=../pcre-8.41 –with-openssl=../openssl-1.0.2k –with-zlib=../zlib-1.2.11 –with-http_v2_module
$make
$make install

/usr/local/nginx/nginx -v
nginx version: nginx/1.13.10

Như vậy là đã hoàn thành.

No Comments on Hướng dẫn compile nginx support gRPC trên Centos 7
Categories: Tài liệu

Top 11 sai lầm người Quản trị hệ thống hay mắc phải March 9, 2018

Top 11 sai lầm người Quản trị hệ thống hay mắc phải

Một người Quản trị hệ thống (System Admin) giữ một vai trò trong lĩnh vực Công nghệ thông tin/Mạng máy tính. Họ chịu trách nhiệm về các hoạt động của máy chủ dịch vụ làm sao để không bị gián đoạn và ảnh hưởng đến việc kinh doanh của công ty. Nhận thức của một quản trị viên hệ thống về các lỗ hỏng bảo mật hệ thống và việc ảnh hưởng đến các máy chủ liên quan hoạt động công ty là một đức tính rất cần cho bất kỳ tổ chức/công ty nào đang thuê họ. Trong công việc của mình các Quản trị viên thường mắc phải 11 sai lầm sau, cùng Cuongquach.com tìm hiểu nhé.

top 11 sai lầm người quản trị hệ thống hay mắc phải

Có thể bạn cũng quan tâm chủ đề khác:
– Top 14 DevOps Blog bạn nên theo dõi mỗi ngày
– Top 8 Email Blacklist bạn nên quan tâm khi email bị dính spam
– Top 11 công cụ mã nguồn mở giám sát hệ thống trên Linux
– Top 11 công cụ thay thế chương trình Google Analytics
– Top 10 công cụ mã nguồn mở kiểm tra tải website

Contents

  • 1. Thực thi scripts với quyền root
  • 2. Sử dụng lại mật khẩu trong hệ thống quản lý
  • 3. Chia sẻ tài khoản quản trị
  • 4. Quên gia hạn SSL
  • 5. Không theo dõi log file
  • 6. Lưu trữ mật khẩu dạng plain-text
  • 7. Báo cáo lỗi
  • 8. Không giữ hệ thống cập nhật thường xuyên
  • 9. Superuser tasks
  • 10. Không chấm dứt các tài khoản đang hoạt động
  • 11. Thực thi các script không rõ nguồn gốc
  • Tổng kết

1. Thực thi scripts với quyền root

Một trong những vấn đề về bảo mật quan trọng nhất là hạn chế cho người dùng đặc quyền quá cao. Các ứng dụng cũng như vậy, chỉ cần đáp ứng theo đúng requirement của ứng dụng yêu cầu là được.

Khi một ứng dụng thực thi với quyền root, đồng nghĩa nó có thể kiểm soát máy chủ của bạn. Nếu đó là ứng dụng nhiễm mã độc thì hacker hoặc kẻ xấu có thể truy cập được vào máy chủ của bạn và kiểm soát nó.

2. Sử dụng lại mật khẩu trong hệ thống quản lý

Đôi khi máy chủ được thiết lập với mật khẩu yếu, hoặc theo thói quen quản trị viên hệ thống thường sử dụng cùng một mật khẩu trên cùng hệ thống. Điều này là không nên tí nào. Việc sử dụng cùng mật khẩu dẫn đến nguy cơ tiềm tàng rất cao.

Brute force là dạng tấn công đoán mật khẩu, nếu sử dụng cùng mật khẩu thì việc có được một mật khẩu đồng nghĩa có cả một hệ thống trong tay. Hacker có thể làm bất cứ điều gì nguy hiểm mà ta không lường trước được.

Thay vì sử dụng mật khẩu, quản trị viên nên cân nhắc sử dụng private/public key để đăng nhập vào máy chủ. Bằng cách sử dụng mật mã bất đối xứng, public key được lưu trên server và người quản trị giữ private key thì kẻ tấn công còn lâu mới khai thác được ta.

3. Chia sẻ tài khoản quản trị

Các tài khoản quản trị thường có đặc quyền rất cao, quản trị viên thường hay sử dụng tài khoản quản trị mà không kiểm soát tốt. Nhiều người còn chia sẻ tài khoản quản trị cho nhau. Rồi đến một thời điểm nào đó, khi người quản trị rời khỏi công ty, mật khẩu cũng không thay đổi hoặc không thu hồi tài khoản. Vì vậy các tài khoản này thường có khả năng bị truy cập trái phép vào hệ thống.

Quản trị viên nên thay đổi mật khẩu định kỳ, bất kỳ ai rời khỏi tổ chức nên rà soát và thu hồi tài khoản.

4. Quên gia hạn SSL

Các chứng chỉ SSL certificate đều có thời gian hết hạn, sau khi hết hạn kết nối sẽ không còn đảm bảo tính bảo mật, người truy cập sẽ thấy cảnh báo bảo mật ngay. Hacker có thể tận dụng trang web hết hạn này để khai thác để lấy dữ liệu khách hàng hoặc sử dụng cho mục đích xấu. Quản trị viên thường là những người thực hiện việc xin cấp SSL, nhưng họ lại quên gia hạn và khách hàng của tổ chức họ trở thành nạn nhân khi web mất SSL.

5. Không theo dõi log file

Duy trì file log và theo dõi nó rất quan trọng đối với quản trị hệ thống. Các file này sẽ có ích khi khắc phục sự cố, cho phép quản trị viên thấy vấn đề xảy ra. Quản trị viên nên theo dõi file log và khi nào chúng được tạo, phải biết chúng chứa thông tin gì và sao lưu để khi cần sử dụng.

6. Lưu trữ mật khẩu dạng plain-text

Việc lưu trữ mật khẩu dạng ký tự thường không được mã hóa dễ dẫn đến rủi ro bị khai thác. Vì mật khẩu dạng thường bất ký ai cũng có thể đọc được và sử dụng để truy cập trái phép tài nguyên. Quy tắc quản lý mật khẩu đòi hỏi rằng mật khẩu không nên được lưu dưới dạng text như vậy. Các quản trị viên có thể xem xét sử dụng các extension hoặc app tích hợp ở các trình duyệt như Lastpasss, Dashlane, KeePass, Roboform 8 để ghi nhớ password giúp mình.

7. Báo cáo lỗi

Khi mọi người báo cáo vấn đề của hệ thống thông qua email hay các ứng dụng chat nhóm, trong mô tả vấn đề quản trị viên thường cung cấp thông tin đăng nhập vào hệ thống, điều này không nên. Khi có vấn đề về hệ thống thì phải được chuyển tiếp đến bộ phận liên quan để nhóm này giải quyết.

8. Không giữ hệ thống cập nhật thường xuyên

Một vài quản trị viên không chú ý đến cập nhật bảo mật thường xuyên khi có, như lỗi Meltdown và Spectre gần đây mình xin hỏi các bạn đã update hay chưa? Mình cá rằng chắc cũng 30% chưa đâu. Bất kỳ khi nào có bản vá bảo mật, quản trị viên nên kiểm tra các nghiên cứu các lỗi đó ảnh hưởng ra sao đến hệ thống mình và xem xét cập nhật.

9. Superuser tasks

Quản trị viên không nên cho người dùng khả năng truy cập hoặc sử dụng các lệnh đặc quyền. Đặc biệt khi lỡ như người dùng bị tấn công, hacker có thể leo thang đặc quyền chiếm quyền kiểm soát hệ thống, lấy đi các thông tin quan trọng.

Người dùng nên đăng nhập bằng tài khoản cá nhân của mình và sử dụng lệnh SUDO (Linux) cho các lệnh được chỉ định khi cần.

10. Không chấm dứt các tài khoản đang hoạt động

Với các tài khoản không sử dụng nữa, hacker có thể nhắm mục tiêu đến những tài khoản này và khai thác chúng, đặc biết là nếu họ có mật khẩu mặc định. Quản trị viên nên vô hiệu hóa các tài khoản không sử dụng nữa bằng cách chỉnh sửa tệp mật khẩu và thay bằng chuổi mã hóa.

11. Thực thi các script không rõ nguồn gốc

Ngay cả khi có nguồn gốc tin cậy, quản trị viên cũng nên biết rằng việc tải script về qua internet là không an toàn. Vì vậy khi thực thi bạn nên xem các lệnh thực hiện trong script có dẫn đến hành động bất chính nào không nhé.

sudo task

Tổng kết

Hy vọng qua bài viết “Top 11 sai lầm người Quản trị hệ thống hay mắc phải” này các quản trị viên hệ thống sẽ có thêm kiến thức trước các vấn đề bảo mật như hiện tại. Tin tặc ngày càng phát triển và tinh vi hơn, điều quan trọng là luôn bổ sung kiến thức bảo mật để bảo đảm hệ thống mình luôn ổn định. Cám ơn các bạn đã theo dõi.

Nguồn: https://cuongquach.com/top-11-sai-lam-nguoi-quan-tri-he-thong-hay-mac-phai.html

No Comments on Top 11 sai lầm người Quản trị hệ thống hay mắc phải
Categories: Chuyện nghề