Để tối ưu hóa SEO cho trang WordPress, thì tối ưu hóa file robots.txt là một công việc không thể bỏ qua. Vậy chúng ta đi nhanh đến phần file robots.txt và tối ưu hóa nó như thế nào ngay sau đây nhé. Tiếp đó mới đến một số thông tin nâng cao về file robots.txt, và vì sao lại nên tối ưu hóa như vậy.
File robots.txt là file gì?
Hay nói cách khác, file robots.txt là một file quy định công cụ tìm kiếm (Google, Bing,…) quyền quét hay không quét một file, thư mục. Có thể hiểu là bạn viết một bài viết, nhưng không muốn nó lên TOP Google, thì đây là file bạn cần phải dùng. Tương tự, nếu file này mà không cho bất cứ công cụ tìm kiếm nào quét website, thì trang của bạn cũng chẳng thấy đâu nếu tìm kiếm trên Google, Bing. Bởi vậy mà file robots.txt, hay tối ưu file robots.txt là một việc vô cùng quan trọng, nếu bạn muốn website của mình được nhiều người biết đến hơn.
Tại sao nên tối ưu file robots.txt
Như thông tin đã nêu ở trên, việc cấu hình file robots.txt sẽ giúp bạn cho phép hoặc ngăn chặn con bọ của công cụ tìm kiếm quét website. Ngoài ra, nó còn ngăn chặn những con bọ của các chương trình khác quét mã nguồn website. Điển hình của mấy anh copy mã nguồn web, rip templates.
Một ví dụ của việc copy web là chương trình HTTrack Website Copier. Việc chặn bot của HTTrack Website Copier sẽ giúp việc chương trình này copy website tự động.
Hơn nữa, từ một số nguồn thông tin cho hay, việc cấu hình file robots.txt sẽ giúp phần nào hacker phá hoại, ăn cắp thông tin… Vỏ quýt dày có móng tay nhọn, mấy thánh hacker trình ngon thì không nói trước được =)).
Dù sao thì, việc tối ưu file robots.txt là vô cùng cần thiết, bởi nó ảnh hưởng tốt đến SEO, và phần nào giảm thiểu nguy cơ bị copy mã nguồn, bị hack, bị phá hoại.
Mẫu file robots.txt đã tối ưu
Sau đây là 2 dạng file Robots.txt mẫu để bạn tham khảo
Mẫu File Robots.txt tối ưu 1
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Mẫu này là mẫu mặc định mà WordPress tạo ra, thường rất nhiều website để file robots.txt ở dạng này. Ví dụ bạn có thể xem: https://kynguyencongnghe.com/robots.txt hay https://gtvseo.com/robots.txt.
Mẫu File Robots.txt tối ưu 2
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
User-agent: Teleport
Disallow: /
User-agent: TeleportPro
Disallow: /
User-agent: EmailCollector
Disallow: /
User-agent: EmailSiphon
Disallow: /
User-agent: WebBandit
Disallow: /
User-agent: WebZIP
Disallow: /
User-agent: WebReaper
Disallow: /
User-agent: WebStripper
Disallow: /
User-agent: Web Downloader
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: Offline Explorer Pro
Disallow: /
User-agent: Offline Explorer
Disallow: /
User-agent: HTTrack Website Copier
Disallow: /
User-agent: Offline Commander
Disallow: /
User-agent: Leech
Disallow: /
User-agent: WebSnake
Disallow: /
User-agent: BlackWidow
Disallow: /
User-agent: HTTP Weazel
Disallow: /
Tìm file robots.txt ở đâu khi bạn dùng WordPress
Ngay sau tên miền bạn thêm “/robots.txt” là có thể truy cập vào file robots.txt rồi. Nếu nó có dạng của mẫu file robots.txt số 1, thì thường là file ảo do WordPress tự động tạo ra.
Địa chỉ của file robots.txt là thư mục chứa mã nguồn của web. Nếu bạn có tài khoản hosting thì thư mục này thường có tên là public_html. Bạn vào thư mục này, tìm file robots.txt, nếu chưa có thì tự tạo 1 file với tên như vậy.
Ngoài ra, nếu bạn không có tài khoản hosting thì có thể cài Plugin: File Manager cho WordPress, sau đó vào ngay thư mục gốc trong để tìm file robots.txt.
Nếu có bất cứ khó khăn gì trong việc tìm, tạo file robots.txt, bạn có thể comment ngay dưới bài này, mình sẽ hỗ trợ maximum có thể.
Ý nghĩa của các dòng lệnh trong việc tối ưu file robots.txt
Trên đây là một số mẫu file robots.txt đã tối ưu để “ăn nhanh”. Nhưng để hoàn toàn kiểm soát được file này, bạn cần hiểu một số điều về các dòng lệnh của nó.
User-agent: *
Dấu * sau User-agent có nghĩa là file robots.txt này sẽ áp dụng với tất cả robot ghé thăm website.
Disallow: /
Nét gạch chéo sau disallow bảo robot không ghé thăm bất cứ trang nào trên website.
Disallow: /wp-admin/
Không cho robot quét thư mục wp-admin
Allow: /wp-admin/admin-ajax.php
Cho phép robot quét file admin-ajax.php. Như trong mẫu file robots.txt số 1, thì robot không được phép quét wp-admin, nhưng file admin-ajax.php trong thư mục này thì vẫn được quét.
Lí do đây:
As plugins are using admin-ajax.php on the frontend, we should add
Allow: /admin/admin-ajax.php
Dịch nôm na là có một số Plugin sử dụng file admin-ajax.php. Nếu bạn cấm thì plugin cũng tèo.
Làm sao bạn lại tìm được bài viết này:
Để: tối ưu hóa file robots.txt; tối ưu hóa file robots cho wordpress; cách tối ưu để bộ máy tìm kiếm quét trang web; cách tối ưu để google quét website; tối ưu hóa cho file robot; tối ưu tập tin robots; toi uu hoa file robots.txt; toi uu hoa file robots cho wordpress; cach toi uu de bo may tim kiem quet trang web; cach toi uu de google quet website; toi uu hoa cho file robot; toi uu tap tin robots.
Simpler is Better
Để lại một bình luận