6 راه حل مشکل Crawled – Currently Not Indexed

وقتی در گوگل سرچ کنسول با وضعیت Crawled – Currently Not Indexed مواجه می‌شوید، یعنی گوگل صفحه موردنظر را خزش کرده، اما فعلاً آن را در ایندکس خود قرار نداده است. این وضعیت به‌تنهایی نشان نمی‌دهد که مشکل دقیقاً از محتوا، لینک‌سازی داخلی یا تنظیمات فنی سایت است؛ برای پیدا کردن علت باید وضعیت URL، محتوای صفحه و سیگنال‌های فنی آن را بررسی کنید.

در این راهنما، ابتدا معنی این وضعیت را توضیح می‌دهیم، سپس دلایل احتمالی آن را بررسی می‌کنیم و در ادامه ۶ راهکار کاربردی برای مدیریت و رفع مشکل ارائه می‌دهیم.

Crawled – Currently Not Indexed چیست؟

وضعیت Crawled – Currently Not Indexed یکی از وضعیت‌های گزارش ایندکس صفحات در GSC است. این وضعیت نشان می‌دهد گوگل URL را پیدا کرده و آن را خزش کرده است، اما صفحه در حال حاضر در فهرست صفحات ایندکس‌شده گوگل قرار ندارد.

به بیان ساده:

• Crawling: گوگل صفحه را دریافت و خزش کرده است.
• Indexing: گوگل تصمیم گرفته است صفحه را در ایندکس خود قرار دهد یا فعلاً این کار را انجام نداده است.
• Ranking: پس از ایندکس شدن، صفحه ممکن است برای جست‌وجوهای مرتبط رتبه بگیرد؛ ایندکس شدن به‌تنهایی رتبه یا نمایش در نتایج را تضمین نمی‌کند.

بنابراین، مشاهده این وضعیت به معنای جریمه شدن سایت نیست و لزوماً هم نشان نمی‌دهد که محتوای صفحه بی‌کیفیت است. ممکن است صفحه محتوای تکراری داشته باشد، سیگنال‌های فنی آن نیازمند بررسی باشند یا هنوز برای ایندکس شدن انتخاب نشده باشد.

اگر صفحه برای کسب‌وکار شما مهم است و باید در گوگل نمایش داده شود، بهتر است ابتدا علت احتمالی را پیدا کنید و بعد متناسب با آن اقدام کنید.

دلایل احتمالی مشکل Crawled – currently not indexed

این وضعیت علت مشخصی را اعلام نمی‌کند. موارد زیر از جمله موضوعاتی هستند که باید هنگام بررسی صفحه در نظر بگیرید.

1. محتوای کم‌ارزش یا تکراری

   یکی از مواردی که باید بررسی شود، ارزش مستقل صفحه برای کاربر است. اگر صفحه اطلاعات تازه‌ای ارائه نمی‌کند، محتوای آن با صفحات دیگر سایت هم‌پوشانی زیادی دارد یا بخش اصلی آن بسیار محدود است، ممکن است برای قرار گرفتن در ایندکس انتخاب نشود.

   برای مثال، فرض کنید یک فروشگاه اینترنتی چندین صفحه دسته‌بندی دارد که تنها نام دسته‌بندی در آن‌ها تغییر کرده و توضیحات، محصولات و اطلاعات کاربردی تقریباً یکسان هستند. در این شرایط، بهتر است بررسی کنید آیا هر صفحه واقعاً نیاز مستقلی را پاسخ می‌دهد یا می‌توان صفحات مشابه را در یک صفحه جامع‌تر ادغام کرد.

   نکته مهم این است که تعداد کلمات به‌تنهایی معیار ایندکس شدن نیست. یک صفحه کوتاه می‌تواند پاسخ کامل و مفیدی ارائه دهد و یک مقاله طولانی هم ممکن است اطلاعات تکراری یا کم‌ارزش داشته باشد. هدف باید پاسخ‌گویی بهتر به نیاز کاربر باشد، نه رسیدن به تعداد کلمات مشخص.

2. لینک‌سازی داخلی ضعیف

   لینک‌های داخلی به گوگل کمک می‌کنند صفحات سایت را پیدا کند و ارتباط موضوعی میان آن‌ها را بهتر درک کند. اگر صفحه مهمی از هیچ بخش مرتبطی از سایت لینک دریافت نکند، ممکن است کشف، درک اهمیت یا دسترسی به آن دشوارتر شود.

   برای بررسی این موضوع، ببینید آیا از مقالات مرتبط، صفحات دسته‌بندی یا راهنماهای مهم به URL موردنظر لینک داده‌اید یا خیر. انکرتکست لینک هم باید با موضوع صفحه مقصد ارتباط داشته باشد.

   برای آشنایی بیشتر با ساختار لینک‌سازی داخلی و ارتباط میان صفحات، راهنمای سئو داخلی را مطالعه کنید.

3. سرعت پایین و مشکلات فنی

   اگرچه وضعیت Crawled – Currently Not Indexed نشان می‌دهد صفحه خزش شده است، همچنان لازم است بررسی کنید گوگل هنگام دریافت صفحه چه محتوایی را مشاهده کرده و آیا سیگنال‌های فنی آن با هدف ایندکس شدن سازگار هستند یا خیر.

   موارد زیر را بررسی کنید:

   • آیا صفحه پاسخ HTTP مناسب، معمولاً 200 OK، برمی‌گرداند؟
   • آیا صفحه به URL دیگری ریدایرکت می‌شود؟
   • آیا تگ noindex در کد صفحه یا هدر HTTP وجود دارد؟
   • آیا فایل robots.txt یا تنظیمات سرور دسترسی گوگل به منابع ضروری را محدود کرده‌اند؟
   • آیا محتوای اصلی صفحه پس از اجرای JavaScript به‌درستی نمایش داده می‌شود؟
   • آیا تگ canonical به URL مورد انتظار اشاره می‌کند؟
   • آیا هنگام دریافت صفحه، محتوای اصلی در دسترس است یا صفحه تقریباً خالی نمایش داده می‌شود؟

   برای بررسی این موارد، از ابزار URL Inspection در سرچ کنسول استفاده کنید و در صورت نیاز نسخه زنده صفحه را آزمایش کنید.

   سرعت پایین نیز می‌تواند در شرایط خاص بر خزش و رندرینگ اثر بگذارد، اما نباید بدون شواهد آن را علت قطعی این وضعیت در نظر گرفت.

4. رقابت و ارزش نسبی صفحه

   در موضوعات رقابتی، صفحات متعددی ممکن است اطلاعات مشابهی ارائه دهند. در چنین شرایطی، بهتر است بررسی کنید صفحه شما چه ارزش مشخصی نسبت به محتوای موجود در نتایج جست‌وجو ایجاد می‌کند.

   برای مثال، اگر صفحه‌ای درباره «خرید گوشی موبایل» فقط یک توضیح عمومی دارد، اما صفحات مرتبط اطلاعاتی مانند مشخصات، مقایسه مدل‌ها، راهنمای انتخاب و پاسخ به پرسش‌های خریداران را ارائه می‌کنند، لازم است ارزش محتوای خود را دوباره ارزیابی کنید.

   بااین‌حال، رقابت بالا به‌تنهایی دلیل اثبات‌شده‌ای برای وضعیت Crawled – Currently Not Indexed نیست. برای تصمیم‌گیری، باید وضعیت فنی، محتوایی و هدف واقعی صفحه را هم بررسی کنید.

5. صفحات کم‌ارزش، تکراری یا غیرضروری

   همه URLهای سایت لزوماً نباید در نتایج گوگل ایندکس شوند. برخی صفحات فیلترشده، ترکیب‌های متعدد پارامترها، نتایج جست‌وجوی داخلی یا نسخه‌های تکراری ممکن است ارزش مستقلی برای نمایش در گوگل نداشته باشند.

   برای مثال، ممکن است فروشگاهی برای هر ترکیب رنگ و سایز، URL جداگانه‌ای تولید کند؛ درحالی‌که بسیاری از این صفحات محصولات و محتوای تقریباً یکسانی دارند.

   در این شرایط، ابتدا مشخص کنید آیا صفحه باید ایندکس شود یا خیر. بسته به نیاز سایت، ممکن است حفظ صفحه، انتخاب canonical مناسب، استفاده از noindex، ادغام محتوا یا حذف URL تصمیم صحیح باشد.

   توجه کنید که robots.txt و noindex کاربرد یکسانی ندارند. فایل robots.txt برای کنترل خزش استفاده می‌شود و جایگزین مطمئنی برای دستور noindex نیست. برای اینکه گوگل دستور noindex را ببیند، نباید دسترسی خزش به آن صفحه را به‌گونه‌ای مسدود کرده باشید که نتواند این دستور را دریافت کند.

6 راه حل برای رفع مشکل Crawled – Currently Not Indexed

بعد از بررسی دلایل احتمالی، می‌توانید متناسب با نتیجه عیب‌یابی از راهکارهای زیر استفاده کنید.

۱.کیفیت و ارزش محتوای صفحه را بهبود دهید

محتوای صفحه را از نظر پاسخ‌گویی به نیاز کاربر بررسی کنید. آیا اطلاعات اصلی به‌طور کامل ارائه شده‌اند؟ آیا صفحه نسبت به صفحات مشابه سایت ارزش مستقلی دارد؟ آیا اطلاعات قدیمی، توضیحات تکراری یا بخش‌های غیرضروری در آن دیده می‌شود؟

برای بهبود محتوا:

• اطلاعات ناقص را تکمیل کنید.
• توضیحات تکراری را حذف یا ادغام کنید.
• مثال‌ها، جدول‌ها و راهنماهای کاربردی را در صورت نیاز اضافه کنید.
• اطلاعات نادرست یا قدیمی را اصلاح کنید.
• موضوعات مهم را براساس نیاز کاربر پوشش دهید، نه صرفاً برای افزایش حجم متن.
• محتوای رقیبان را برای شناسایی نیازهای پاسخ‌داده‌نشده بررسی کنید، اما متن آن‌ها را کپی نکنید.

برای مثال، اگر صفحه‌ای درباره طراحی وب‌سایت اختصاصی دارید، اطلاعاتی مانند مراحل اجرا، امکانات، نمونه پروژه‌ها و معیارهای انتخاب می‌توانند در صورت ارتباط با هدف صفحه به تکمیل محتوا کمک کنند.

تعداد کلمات مشخصی برای ایندکس شدن همه صفحات وجود ندارد؛ بنابراین، به‌جای تعیین حداقل ثابت، روی کامل بودن پاسخ و ارزش مستقل صفحه تمرکز کنید.

۲. لینک‌سازی داخلی هدفمند

اگر صفحه مهمی از سایت لینک داخلی کافی دریافت نمی‌کند، از صفحات مرتبط به آن لینک دهید. این کار می‌تواند به کشف بهتر URL و درک ارتباط موضوعی آن کمک کند.

برای اجرای صحیح لینک‌سازی داخلی:

• از مقالات مرتبط به صفحه موردنظر لینک دهید.
• از انکرتکست توصیفی و مرتبط استفاده کنید.
• لینک را در جمله‌ای قرار دهید که واقعاً به اطلاعات صفحه مقصد نیاز دارد.
• از لینک دادن بی‌دلیل به صفحه اصلی یا صفحات نامرتبط خودداری کنید.
• بررسی کنید لینک‌ها از نوع معمول و قابل خزش HTML باشند.
• از لینک‌سازی بیش‌ازحد یا تکرار مصنوعی یک عبارت خودداری کنید.

برای مثال، اگر مقاله‌ای درباره ایندکس دستی صفحات دارید، می‌توانید از یک مقاله مرتبط به ایندکس دستی صفحات لینک دهید؛ البته به شرطی که لینک در متن طبیعی باشد و نیاز کاربر را برآورده کند.

۳.مشکلات فنی و تجربه کاربری را بررسی کنید

سرعت، رندرینگ و دسترسی صحیح به محتوای صفحه را بررسی کنید. بهینه‌سازی سرعت به‌تنهایی ایندکس شدن را تضمین نمی‌کند، اما برطرف کردن مشکلات واقعی بارگذاری و رندرینگ می‌تواند برای دسترسی صحیح به محتوا مفید باشد.

اقدامات پیشنهادی:

• تصاویر غیرضروری را فشرده کنید و در صورت مناسب بودن از WebP استفاده کنید.
• کش و تنظیمات سرور را بررسی کنید.
• خطاهای JavaScript و منابع ضروری مسدودشده را شناسایی کنید.
• نسخه موبایل و دسترسی به محتوای اصلی را آزمایش کنید.
• پاسخ سرور، ریدایرکت‌ها و هدرهای صفحه را بررسی کنید.

برای بررسی عملکرد بارگذاری می‌توانید از این ابزارها استفاده کنید:

• Google PageSpeed Insights
• GTmetrix

همچنین برای آشنایی بیشتر با نحوه استفاده از ابزار دوم، مقاله آموزش GTmetrix را مطالعه کنید.

۴.وضعیت URL را در سرچ کنسول بررسی کنید

پیش از درخواست ایندکس مجدد، از ابزار URL Inspection برای بررسی صفحه استفاده کنید.

مراحل پیشنهادی:

۱. وارد Google Search Console شوید.

۲. URL کامل صفحه موردنظر را در نوار بالای سرچ کنسول وارد کنید.

۳. وضعیت ایندکس صفحه را بررسی کنید و جزئیات مربوط به خزش و ایندکس را بخوانید.

۴. در صورت نیاز، گزینه Test Live URL را اجرا کنید تا وضعیت نسخه فعلی صفحه بررسی شود.

۵. به وضعیت canonical اعلام‌شده و canonical انتخاب‌شده توسط گوگل توجه کنید.

۶. اگر صفحه ایندکس نشده است، اطلاعات مربوط به آخرین خزش، دسترسی به صفحه، قابلیت ایندکس و محتوای رندرشده را بررسی کنید.

۷. اگر مشکل مشخصی پیدا کردید، ابتدا آن را اصلاح کنید و سپس در صورت مناسب بودن شرایط، درخواست ایندکس مجدد ثبت کنید.

۵. مدیریت صفحات بی‌ارزش یا تکراری

اگر صفحه ارزش مستقلی ندارد، قبل از تلاش برای ایندکس کردن آن، تصمیم بگیرید آیا باید در گوگل نمایش داده شود یا خیر.

انتخاب روش مناسب به وضعیت واقعی صفحه بستگی دارد. برای مثال، canonical برای معرفی نسخه ترجیحی از میان صفحات مشابه به کار می‌رود و نباید بدون بررسی به‌عنوان جایگزین عمومی ریدایرکت یا noindex استفاده شود.

۶.پس از اصلاح، نتیجه را پایش کنید

پس از اعمال تغییرات، وضعیت صفحه را دوباره بررسی کنید. لازم نیست برای هر URL، بدون توجه به شرایط آن، تمام اقدامات ممکن را انجام دهید.

• مطمئن شوید URL مهم در نقشه سایت XML قرار دارد.
• بررسی کنید صفحه از صفحات مرتبط لینک داخلی دریافت می‌کند.
• اگر تغییر معناداری انجام داده‌اید، در صورت امکان از URL Inspection درخواست ایندکس مجدد ثبت کنید.
• نتیجه را در گزارش Page Indexing و ابزار URL Inspection پیگیری کنید.
• اگر وضعیت تغییر نکرد، به‌جای ارسال مکرر درخواست، دوباره محتوای صفحه و سیگنال‌های فنی را بررسی کنید.

نقشه سایت می‌تواند به گوگل در کشف URLها کمک کند، اما ارسال URL در Sitemap یا ثبت درخواست ایندکس، تضمینی برای ایندکس شدن نیست.

نکته درباره Validate Fix: این گزینه را نباید با درخواست ایندکس یک URL یکسان دانست. گزینه Validate Fix در گزارش‌های مربوط به مشکلات ایندکس، برای اعتبارسنجی رفع مشکل گزارش‌شده به کار می‌رود؛ درحالی‌که درخواست ایندکس مجدد از طریق URL Inspection انجام می‌شود. اقدام درست به نوع وضعیت و گزارشی بستگی دارد که در سرچ کنسول مشاهده می‌کنید.

تفاوت Crawled – Currently Not Indexed و Discovered – Currently Not Indexed چیست؟

این دو وضعیت از نظر مرحله‌ای که گوگل طی کرده است با یکدیگر تفاوت دارند.

در وضعیت Crawled، گوگل صفحه را دریافت کرده است؛ بنابراین بررسی محتوای مشاهده‌شده و سیگنال‌های ایندکس اهمیت بیشتری پیدا می‌کند. در وضعیت Discovered، لازم است ابتدا وضعیت کشف و خزش URL بررسی شود.

البته در هیچ‌کدام از این دو وضعیت، نباید بدون بررسی جزئیات صفحه یک علت قطعی اعلام کرد.

سوالات متداول

۱. آیا Crawled – Currently Not Indexed یک خطای فنی است؟

این وضعیت لزوماً به معنای خطای فنی نیست. گوگل صفحه را خزش کرده، اما آن را در ایندکس قرار نداده است. برای تشخیص علت باید محتوای صفحه، قابلیت ایندکس، canonical و سایر سیگنال‌های مرتبط بررسی شوند.

۲. آیا افزایش تعداد کلمات باعث رفع مشکل می‌شود؟

خیر، افزایش تعداد کلمات به‌تنهایی تضمینی برای ایندکس شدن نیست. اگر محتوا ناقص است، باید اطلاعات ضروری و مفید به آن اضافه شود؛ اما طولانی کردن متن بدون ارزش افزوده ممکن است کمکی به حل مسئله نکند.

۳. آیا درخواست ایندکس دستی مشکل را حل می‌کند؟

درخواست ایندکس مجدد می‌تواند صفحه را وارد فرایند بررسی گوگل کند، اما تضمینی برای ایندکس شدن آن نیست. بهتر است ابتدا مشکلات احتمالی را اصلاح کنید و سپس درخواست را ثبت کنید.

۴. آیا باید تمام صفحات سایت ایندکس شوند؟

خیر. صفحات مهم و مفیدی که برای نمایش در نتایج جست‌وجو طراحی شده‌اند باید از نظر ایندکس شدن بررسی شوند. برخی URLهای تکراری، فیلترها یا صفحات فاقد ارزش مستقل ممکن است به ایندکس شدن نیاز نداشته باشند.

۵. برای رفع مشکل باید از robots.txt استفاده کنیم یا noindex؟

این دو ابزار کاربرد یکسانی ندارند. robots.txt برای کنترل خزش است و noindex برای اعلام اینکه صفحه نباید در نتایج جست‌وجو ایندکس شود. انتخاب درست به هدف صفحه و وضعیت فنی آن بستگی دارد.

۶. بعد از اصلاح صفحه چقدر طول می‌کشد تا ایندکس شود؟

زمان مشخص و تضمین‌شده‌ای وجود ندارد. گوگل ممکن است پس از خزش مجدد صفحه، آن را ایندکس کند یا همچنان از ایندکس کردن آن خودداری کند. وضعیت URL را در سرچ کنسول پیگیری کنید و از تکرار بی‌دلیل درخواست‌ها بپرهیزید.

۷. آیا Sitemap باعث ایندکس شدن صفحه می‌شود؟

Sitemap به گوگل کمک می‌کند URLهای سایت را کشف کند و اطلاعاتی درباره آن‌ها دریافت کند؛ اما تضمین نمی‌کند که همه URLهای ثبت‌شده در آن ایندکس شوند.

سخن پایانی

وضعیت Crawled – Currently Not Indexed به این معناست که گوگل صفحه را خزش کرده، اما فعلاً آن را در ایندکس خود قرار نداده است. برای رفع این وضعیت، بهتر است به‌جای تکرار درخواست ایندکس یا افزایش بی‌هدف تعداد کلمات، ابتدا علت احتمالی را پیدا کنید.

کیفیت و ارزش مستقل محتوا، لینک‌سازی داخلی، تنظیمات canonical، قابلیت ایندکس، رندرینگ و نحوه مدیریت URLها از مواردی هستند که باید متناسب با شرایط صفحه بررسی شوند.

هیچ راهکاری ایندکس شدن همه صفحات را تضمین نمی‌کند؛ اما عیب‌یابی دقیق و اصلاح مشکلات واقعی می‌تواند به تصمیم‌گیری درست‌تر درباره صفحات مهم سایت کمک کند.

درباره آراز سیستم بیشتر بدانید

تیم آراز سیستم در زمینه طراحی سایت و خدمات سئو به کسب‌وکارها کمک می‌کند تا وب‌سایت خود را متناسب با نیاز کاربران و الزامات فنی موتورهای جست‌وجو توسعه دهند.

با استفاده از خدمات طراحی سایت و بهینه‌سازی سئو، می‌توانید مشکلات فنی و محتوایی وب‌سایت خود را بررسی کنید و برای بهبود ساختار، تجربه کاربری و دسترسی صفحات مهم برنامه‌ریزی داشته باشید.

اگر برای بررسی وضعیت ایندکس صفحات یا بهینه‌سازی سایت خود به راهنمایی تخصصی نیاز دارید، از طریق صفحه درخواست مشاوره و شروع همکاری با آراز سیستم با تیم ما در ارتباط باشید.