Để khắc phục tình trạng này thì điều đầu tiên các bạn phải nắm bắt được những nguyên nhân gây ra tình trạng tệ hại này và ngay sau đây tôi sẽ tổng hợp những nguyên nhân phổ biến nhất, các bạn có thể rà soát qua những nguyên nhân này từ trên xuống dưới và khắc phục tình trạng tệ hại này một cách nhanh nhất.
Tại sao website của bạn không được Google lập chỉ mục? Website được index trong cơ sở dữ liệu của Google là một trong những tiêu chí hàng đầu trong quá trình SEO và đây là một phần không thể thiếu của bộ máy tìm kiếm. Google nhất định phải lập chỉ mục cho website của các bạn dù cho lưu lượng truy cập vào website của bạn là nhiều hay ít.
1. Trang web của bạn đã được lập chỉ mục tên miền theo www hoặc không www
Về mặt kỹ thuật tên miền có chứa www là một tên miền phụ, vì vậy một tên miền có chứa www và không có chứa www la hai đường dẫn không giống nhau. Do đó hãy chắc chắn rằng bạn đã thêm cả hai thông số domain này vào trong tài khoản Google Webmaster Tool của bạn, để đảm bảo một điều rằng là chúng được lập chỉ mục cả hai. Hãy chắc chắn là bạn đã thiết lập tên miền ưu thích và xác minh quyền sở hữu của cả hai domain có www và không có www.
2. Google không tìm thấy website của bạn
Đầy là hiện tượng thường xảy ra với những website mới và với việc này thì thường chúng ta sẽ phải giành thời gian để Google cập nhật và rà soát dữ liệu. Nhưng nếu Google vẫn không index nội dung cho website của bạn, thì điều đâu tiên bạn phải kiểm tra đó chính là bạn đã tạo sitemap cho website chưa và đã khai báo với google chưa, nếu như bạn đã làm hai việc này rồi thì bạn phải kiểm tra lại file sitemap được tạo ra và gửi lên để khai báo với google có gặp trục trặc gì không, nó có hoạt động không (tất cả việc này chúng ta thao tác trong Google webmaster tool). Ngoài ra thì các bạn có thể yêu cầu Google thu lập dữ liệu cho website của mình.
Quá trình này có thể sẽ phải mất 10 – 15 phút để google cập nhật, sau khi cập nhật thành công thì bạn tiếp tục làm như vậy với một đường link khác. Ngoài ra thì bạn có thể sử dụng công cụ Submit URL cá nhân theo đường link sau: https://www.google.com/webmasters/tools/submit-url, và chèn url vào ô tương ứng, nhập mã capcha và bấm vào gửi yêu cầu. Với công cụ này thì một tuần bạn có thể gửi 500 đường link lên trên này.
3. Lỗi trong file robots.txt của website sẽ chặn Google lại
Câu lệnh “disallow” trong file robots.txt là cách dễ dàng nhất để loại bỏ một file hoặc cả một thư mục khỏi việc đánh dấu chỉ mục của Google. Để loại ra những file riêng rẻ, thêm dòng sau vào file robots.txt:
User-agent: * Disallow: /directory/ten-file.html
Để loại ra toàn bộ thư mục nào đó, sử dụng câu lệnh:
User-agent: * Disallow: /first-directory/ Disallow: /second-directory/
Nếu website của bạn có file robots.txt, kiểm tra thật kỹ file robots.txt đó để chắc chắn rằng bạn không loại những thư mục mà bạn muốn nhìn thấy trên kết quả tìm kiếm của Google.
Lưu ý rằng những vị khách truy cập vào website của bạn vẫn sẽ thấy những trang mà bạn loại ra trong file robots.txt. Kiểm tra website của bạn với Công cụ đánh giá website hoặc dịch vụ khác như http://www.seoprofiler.com để xem có bất cứ vấn đề nào với file robots.txt.
4. Website của bạn đã có một sitemap.xml chưa?
Mỗi một trang web nên có một sitemap.xml và đây chính là bản sơ đồ, giúp Google boot có thể truy cập một cách dễ dàng và cũng giúp Google tuân theo và lập chỉ mục trang web của bạn. Bạn có thể đọc thêm về chính sách sơ đồ trang web của Google. Và cách tạo ra sitemap một cách dễ dàng. Phân này rất quan trọng, bạn nên rà soát kỹ và xem xét lại việc gửi sitemap.xml cho Google một cách nhanh chóng và chuẩn chỉ nhất.
5. Website của bạn có bị lỗi thu thập thông tin?
Trong một số trường hợp thì Google sẽ không thể lập chỉ mục cho website của bạn, bởi vì Google boot không thể thu thập được dữ liệu thông tin trên website của bạn, mặc dù Google Boot vẫn nhìn thấy dữ liệu của chúng ta.
Để khắc phục điều này thì đầu tiên các bạn phải vào Google Webmaster Tool → chọn website của bạn → click vào mục “thu thập dữ liệu “→ “ lỗi thu thập dữ liệu“, trong mục này sẽ thông kê cho các bạn thấy được toàn bộ đường link bị lỗi.
Để khắc phục điều này thì bạn nên click trực tiếp vào từng link, sau đó click vào tìm nạp như Google, sẽ giúp cho đường link bị lỗi của bạn được index trên cơ sở dữ liệu của Google.
6. Website của bạn có rất nhiều nội dung trùng lặp
Quá nhiều nội dung trung lặp trên một website có thể sẽ gây nhầm lẫn cho công cụ tìm kiếm và sẽ gây ra tình trạng Google Boot sẽ bỏ lập chỉ mục cho website của bạn (vì đây được xem nội dung rác, khiến cho Google Boot không index nội dung nữa). Để khắc phục tình trạng này thì chúng ta phải sửa lại nội dung, làm mới nội dung để thoát khỏi tình trạng bị trùng lặp nội dung, ngoài ra thì các bạn có thể dùng redirect 301 để chuyển hướng những bài viết kém chất lượng sang những bài viết chất lượng, việc này sẽ làm giảm thiểu việc trùng lặp nội. Các bạn có thể dùng công cụ kiểm tra trùng lặp nội dung cho webstite, hiệu quả và nhanh chóng.
7. Bạn đã bỏ chế độ riêng tư trên website chưa?
Trong wordpress có tính năng bảo mật theo chế độ riêng tư, đây là tính năng giúp chúng ta có quá trình xây dựng nội dung mà không index khi chưa có cấu trúc hoàn chỉnh, nhưng nếu bạn không nhớ về việc này thì sẽ khiến cho website không thể index nội dung. Để bỏ chế độ này bạn vào phần quản trị → settings → reading → Search Engine Visibility, các bạn bỏ chọn ở phần này đi nhé.
8. Website của bạn bị chặn index bởi .htaccess
Tập tin .htaccess là một phần sự tồn tại của trang web, trong mỗi website luôn luôn có tồn tại file này, các tập tin .htaccess được viết bằng apache và thực sự rất hữu và tiện dụng bởi nó có thể cho chặn index bất kỳ một danh mục nào, ngoài còn rất nhiều tính năng khác. Đây cũng là một phần để bạn phải kiểm tra và rà soát nếu như website gặp vấn đề noindex.
9. Sử dụng thẻ meta robots noindex và Google sẽ bỏ bạn mà đi
Thẻ meta robots noindex cho phép bạn nói với robots của bộ máy tìm kiếm một trang riêng rẻ trong website không nên được đánh chỉ mục. Để loại trang web ra khỏi kết quả tìm kiếm, thêm đoạn code sau trong phần của trang web: <meta name=”robots” content=”noindex, nofollow”>.
Trong trường hợp này, bộ máy tìm kiếm sẽ không thể đánh chỉ mục trang web và cũng không thể theo dấu những liên kết (links) trong trang này. Nếu bạn muốn bộ máy tìm kiếm theo dấu liên kết trong trang web, sử dụng: <meta name=”robots” content=”noindex, follow”>.
Trang web sẽ không xuất hiện trong kết quả tìm kiếm nhưng những liên kết vẫn được theo dấu. Nếu bạn muốn chắc chắn rằng Google sẽ index tất cả các trang, bỏ thẻ robots này đi.
Thẻ meta robots noindex chỉ tác động đến những robot của bộ máy tìm kiếm. Những khách thông thường của website vẫn có thể nhìn thấy trang web của bạn, công cụ đánh giá website như seoprofiler sẽ giúp bạn tìm ra vấn đề gặp phải nếu có từ thẻ meta robots noindex.
10. Các đoạn mã AJAX/ JavaScript
Google không đánh giá cao những website có chứa và sử dụng các đoạn ngôn ngữ Ajax và JavaScript và Google sẽ không thể index được nội dung qua những đoạn mã này.
11. Sai mã trạng thái HTTP (HTTP Status Code) sẽ đưa Google ra đi
Mã trạng thái từ máy chủ (HTTP Status Code) cho phép bạn đưa những khách hàng thật và robots của công cụ tìm kiếm đến những nơi khác nhau trên website của bạn. Một trang web thường có mã trạng thái “200 OK”. Ví dụ, bạn có thể sử dụng những mã sau đây:
301 moved permanently – 301 redirect (điều hướng 301): thẻ điều hướng 301 sẽ gửi request hiện tại và những request tương lai đến một URL mới.
403 forbidden: máy chủ sẽ từ chối đáp ứng lại request.
Để tối ưu bộ máy tìm kiếm (SEO), mã điều hướng 301 nên được sử dụng nếu bạn muốn đảm bảo khách hàng của trang web cũ sẽ được chuyển tới trang web mới.
Công cụ đánh giá website sẽ chỉ ra những trang web gặp phải lỗi trạng thái này.
12. Nếu trang web của bạn yêu cầu Cookie hay Javascript, Google có thể không lập chỉ mục được trang web của bạn
Cookie và Javascript cũng có thể giữ Robots của bộ máy tìm kiếm ra xa khỏi cửa “nhà” bạn. Ví dụ, bạn có thể ẩn nội dung bằng cách chỉ cho phép những User Agents nào chấp nhận cookie truy cập .
Bạn cũng có thể sử dụng những mã Javascript phức tạp để tạo ra nội dung. Hầu hết những robots của bộ máy tìm kiếm không thực thi Javascript phức tạp vì vậy chúng không thể nào đọc được trang web của bạn.
13. Google sẽ không thể đánh chỉ mục những trang web được bảo vệ bởi password
Nếu bạn đặt password bảo vệ trang web, chỉ những người khách nào biết được password mới có thể xem nội dung của trang đó.
Robots của bộ máy tìm kiếm sẽ không thể truy cập vào website. Trang web có password bảo vệ có thể gây ra những tác động tiêu cực đến trải nghiệm người dùng vì vậy bạn nên kiểm tra kỹ lưỡng trước khi áp dụng điều này.
14. Tốc độ load trang của bạn quá lâu
Google không thích một website nào có thời gian load quá lâu, vì khi Google Boot truy vấn vào website của các bạn nhưng mất quá nhiều thời gian để có thể truy cập vào site để lấy thông tin, google boot sẽ rời bỏ website của các bạn và như thế sẽ không thể index được nội dung, các bạn nên kiểm tra lại tốc độ của hosting, domain và mức độ tối ưu của hệ thông code của website.
15. Hosting của bạn có vấn đề
Hosting là phần là các bạn cần phải kiểm tra xem tốc độ của hosting, ngoài ra có những đơn vị cung cấp hosting ngăn chặn sự truy cập của Google Boot. Điều này sẽ khiến cho website của bạn không được Google index nội dung. Bạn cần phải kiểm tra băng thông của hosting để giải quyết vấn đề tốc độ của website và ngoài ra yêu cầu bên đơn vị cung cấp kiểm tra cũng như loại bỏ tính năng ngặn chặn sự truy cập của Google Boot.
16. Website của bạn đột nhiên bị mất index hoàn toàn
Đây thực sự là một điều rất là tệ hại, vì rất có thể website của bạn đang bị dính hình phạt của các thuật toán, nếu như các bạn có một trang web với lịch sử là website đen (điều này bạn hoàn toàn không biết) nó cũng sẽ tác động tới việc ngăn chặn index nội dung trên web của các bạn.
Nếu như website của bạn đột nhiên giảm tất cả các chỉ số, thì điều đầu tiên là phải kiểm tra lại những thông báo trong Google Webmaster Tools, tiếp đến là rà soát lại như tỉ lệ anchor text trỏ về website, lượng backlink… để có thể tìm ra nguyên nhân chính. Và tiếp đó là bạn phải thực sự nỗ lực làm việc chăm chỉ hơn, để có thể giúp cho website index trở lại.
Kết luận: Tất cả thông số chi tiết và cụ thể thì là bạn đang có kết hoạch làm SEO tốt hơn, với vấn đề website không được index hay như đột nhiên không được index thì các bạn nên tìm ra nguyên nhân chính xác, để có được kinh nghiệm cho chính bản thân và có cách sử lý nhanh nhất nếu như gặp phải trường hợp tương tự sau này.
TH