تنظیم فایل robots.txt با نمونه کدهای آماده برای سایت های مختلف

فایل robots.txt چیست؟ تعریف ساده و قابل فهم

فایل robots.txt یک فایل متنی ساده است که در ریشه سایت (public html) قرار می‌گیرد و به ربات‌های موتورهای جستجو (مثل گوگل) می‌گوید کدام بخش‌های سایت را بخزند و کدام‌ها را نادیده بگیرند. این فایل مثل یک تابلوی “ورود ممنوع” برای ربات‌ها عمل می‌کند.

چرا فایل robots.txt وجودش برای سئو مهم است؟

تا حالا برایتان پیش آمده است که صفحه ای را در سایتتان منتشر کنید ولی تا مدت ها در نتایج جستجو گوگل نباشد؟ یکی از دلیل این موضوع این است که هر سایتی بودجه خزشی دارد که میزان آن به قدمت دامنه و میزان به‌روزرسانی محتوای آن دارد. اگر ربات‌های گوگل وقت و منابعشان را صرف خزیدن در صفحات کم‌ارزش مثل صفحه‌های فیلتر محصولات، سبد خرید، صفحات پرداخت و پنل کاربری یا URLهای تکراری کنند، ممکن است دیگر بودجه‌ای برای خزیدن صفحات مهم شما باقی نماند. بنابراین تنظیم صحیح فایل robots.txt برای جلوگیری از هدررفت این بودجه، سرعت ایندکس صفحات و نیز تقویت سئو سایت شما ضروری است.

ساختار فایل robots.txt

دو دستور اصلی که در این فایل وجود دارد عبارتند از:

• User-agent: مشخص می‌کند این دستور برای کدام ربات است (مثلاً Googlebot)
• Disallow / Allow: مشخص می‌کند کدام مسیرها خزیده نشوند یا مجاز به خزش باشند

نمونه ساده ای از فایل رباتس تکست:

 * :User-agent
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://yourdomain.com/sitemap.xml

سایت فروشگاهی:

در دستور زیر خرش پنل مدیریت سایت بجز فایل admin-ajax را برای ربات های جستجوگر محدود کرده است و در انتها URL تمامی صفحات سایت مپ رو برای دسترسی راحتتر ربات ها معرفی کرده است. شما می توانید این دستور را کپی کرده و در یک فایل txt. قرار دهید. تنها کافیست بجای بخش yourdomain.com آدرس سایت خود را قرار دهید.

 * :User-agent
Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://yourdomain.com/post-sitemap.xml Sitemap: https://yourdomain.com/post-tag-sitemap.xml Sitemap: https://yourdomain.com/page-sitemap.xml Sitemap: https://yourdomain.com/product-sitemap.xml Sitemap: https://yourdomain.com/category-sitemap.xml Sitemap: https://yourdomain.com/product_cat-sitemap.xml Sitemap: https://yourdomain.com/product_tag-sitemap.xml

نکته: در بخش قبل گفتیم که بهتر است آدرس sitemap خود را در انتهای دستور وارد کنید. در دستوری که در این بخش برایتان قرار دادیم، URL سایت مپ تک تک post type ها مانند صفحات محصول، برگه، برچسب ها به صورت جدا جدا قرار گرفته است. دلیل این موضوع را می دانید؟ دلیل این امر این است که در سایت مپ سایتتان پست تایپ های دیگری نیز می توانند وجود داشته باشند که بر حسب نیاز در مراحل طراحی سایت به وجود آمده اند. شما با انتخاب دقیق میان پست تایپ ها، می توانید فقط آن هایی را که واقعا مهم هستند را برای خزش معرفی کنید.

سایت وبلاگی:

 * :User-agent
Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://yourdomain.com/post-sitemap.xml Sitemap: https://yourdomain.com/post-tag-sitemap.xml Sitemap: https://yourdomain.com/page-sitemap.xml

سایت شرکتی:

 * :User-agent
Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://yourdomain.com/post-sitemap.xml Sitemap: https://yourdomain.com/post-tag-sitemap.xml Sitemap: https://yourdomain.com/page-sitemap.xml Sitemap: https://yourdomain.com/portfolio-sitemap.xml

اشتباهات مرگبار در نوشتن فایل robots.txt

• نوشتن Disallow: /  = مسدودکردن کل سایت از ایندکس!
• تفاوت Disallow با noindex: دستور  Disallow جلوی خزش را می‌گیرد، اما ممکن است صفحه همچنان ایندکس شود. برای جلوگیری از ایندکس، از متا تگ noindex در افزونه های رنک مث یا یوست سئو استفاده کنید.

نحوه ساخت و آپلود فایل robots.txt

ساخت فایل:

• فایل متنی ساده در Notepad بسازید
• با نام robots.txt ذخیره کنید

ساخت فایل robots.txt در Notepad

آپلود فایل:

• وارد پنل هاست خود شده و فایل را در روت اصلی سایت (public_html) آپلود کنید و یا از طریق افزونه یوست سئو می توانید به بخش ابزارها رفته و وارد قسمت ویرایشگر پرونده شوید. در بخش robots.txt دستورهای خود را پیست کنید.

آپلود فایل robots.txt در روت سایت

تنظیم robots.txt در یوست سئو

تست:

• در مرورگر خود  آدرس زیر را وارد کنید (بجای بخش yourdomain.com آدرس سایت خود را قرار دهید):

yourdomain.com/robots.txt

سوالات متداول

اگر فایل robots.txt نداشته باشیم چی می‌شه؟

گوگل فرض می‌کند همه مسیرها قابل دسترسی‌اند و ممکنه صفحات غیرضروری ایندکس بشوند و بودجه خزش شما هدر برود. در نتیجه صفحات مهم شما به سرعت ایندکس و منتشر نمی شوند.

فرق بین robots.txt و meta robots چیه؟

• robots.txt: برای خزیدن ربات ها شروطی ایجاد می کند.
• meta robots: مشخص می کند که آیا صفحه ایندکس شود یا نه

آیا ربات‌های غیر از گوگل هم این فایل را می‌خوانند؟

بله، اکثر موتورهای جستجو مانند Bing، Yandex و حتی برخی ربات‌های تبلیغاتی به این فایل توجه می‌کنند.

اگر به دنبال بهینه‌سازی دقیق‌تر سایت خود هستید…

استفاده از فایل robots.txt فقط یکی از مراحل بهینه‌سازی سایت است. اگر در حال طراحی سایت هستید یا قصد دارید با خدمات سئو حرفه‌ای رتبه خود را در گوگل ارتقا دهید، تیم آراز سیستم با تجربه در طراحی سایت اختصاصی و سئو آماده همکاری با شماست.

برای مشاوره رایگان همین حالا با ما تماس بگیرید!