فایل llms.txt چیست ؟ چه تاثیری در سئو دارد؟

در حال حاظر شرایط سرچ کاربران و سئو سایت با ورود هوش مصنوعی به دنیای دیجیتال مارکتینک به شدت تغییر کرده است. از این رو شاید دیگر فقط قابل مشاهده بودن در نتایج گوگل (SERP) به تنهایی کافی نباشد. تا چند وقت پیش وقتی صحبت از فایل llms.txt می شد، خیلی ها از جمله خود ما آن را یک ایده تازه و غیررسمی و حتی غیرضروری می دانستیم.

امروزه سایت ها فقط برای انسان ها و ربات های موتور جستجو بررسی نمی شود، بلکه از سمت انواع هوش مصنوعی هم بررسی می شود. دیگر در حال حاظر سئو  فقط کلمات کلیدی، بک لینک و تولید محتوا نیست. باید الان تلاش کنیم که سایت ما برای هوش مصنوعی قابل فهم باشد تا شرایط برای ورود به انواع AI فراهم باشد.

استاندارد llms.txt در سپتامبر ۲۰۲۴ توسط جرمی هاوارد معرفی شد و هنوز به بلوغ نرسیده است اما برخی از مدل‌های هوش مصنوعی از این استاندارد استفاده می‌کنند.

فایل llms.txt چیست؟

فایل LLMs یک فایل متنی است که در مسیر اصلی سایت (root) قرار می گیرد و مشخص می کند که مدل های زبان بزرگ (LLMs یا Large Language Models) به چه محتوایی دسترسی داشته باشند.

صفحات وب پر از المان‌هایی هستند که برای انسان مفیدند ولی برای مدل‌های زبانی مزاحمت ایجاد می‌کنند؛ مواردی مانند بنرهای تبلیغات در گوگل، منوهای ناوبری پیچیده، اسکریپت‌ها، CSSهای زیاد، و کدهای جاوااسکریپت…

این فایل به مدل های زبانی کمک می کند که نسخه ساده و بدون مزاحم از وب سایت ها را دریافت کنند. در همین راستا، پیشنهاد می‌شود فایل llms.txt حاوی نسخه ای ساده شده، هدفمند و آماده پردازش از محتوای صفحات وب باشد.

ما دو فایل llms.txt برای هر سایت می‌توانیم داشته باشیم:

• llms.txt: نمایی ساده‌شده از ناوبری مستندات شما برای کمک به سیستم‌های هوش مصنوعی در درک سریع ساختار سایت شما
• llms-full.txt: فایلی جامع که تمامی مستندات شما را در یک مکان گردآوری کرده است.

این فایل به فرمت Markdown نوشته شده، نمایی مختصر و ساختار یافته از محتوای سایت را به مدل‌های زبان بزرگ (LLM) ارائه می‌دهد و فرآیند بازیابی اطلاعات را دقیق‌تر و کارآمدتر می‌کند.

ساختار فایل llms.txt چگونه باید باشد؟

• خلاصه‌ای از محتوا
• فایل Markdown برای هر صفحه
• لینک‌ به صفحات اصلی با anchor
• تاریخ انتشار و به‌روزرسانی
• تعیین مجوز استفاده (license or restrictions)

فایل مدل های هوش مصنوعی چگونه کار می کند؟

مدل های هوش مصنوعی برای پاسخ دادن به سوالات کاربران، اطالاعات خود را از منابع مختلف در اینترنت جمع آوری می کنند. فایل llms.txt مجموعه ای از قوانین و مقررات برای AI Agent هاست تا موارد زیر را مشخص کند:

• آیا ربات هوش مصنوعی اجازه خواندن صفحات را دارد؟
• آیا محتوای سایت می‌تواند برای آموزش مدل استفاده شود؟
• آیا نقل‌قول از محتوا مجاز است؟
• آیا محدودیت خاصی برای یک مدل مشخص وجود دارد؟

در واقع این فایل نوعی «سیاست استفاده از محتوا» برای سیستم‌های هوش مصنوعی محسوب می‌شود.

چرا llms.txt اهمیت دارد؟

درگذشته متخصصین سئو برای رتبه گرفتن در نتایج گوگل رقابت می کردند تا بتوانند سایت خود را بالاتر از رقبا برای کاربران به نمایش بگذراند. اما امروزه ما باید سایت هایی که داریم را برای نتایج هوش مصنوعی بهینه کنیم. انواع مدل ها مانند: ChatGPT، Copilot، Gemini و Claud تبدیل به نقاط تعمل کاربران برای دریافت پاسخ شدند.

همان طور که پیش تر توضیح دادیم، مدل های زبانی مانند GPT و دیگر مدل های پیشرفته برای پردازش و درک محتوای سایت ها نیاز دارند که به صورت ساختار یافته و ساده باشند.

پردازش ساختار HTML برای هوش مصنوعی به دلایل زیر دشوار است:

1. ساختار پیچیده و نامرتب: صفحات HTML شامل ترکیبی از محتوا، کدهای استایل و اسکریپت‌ها هستند. این ترکیب باعث می‌شود مدل‌ها برای یافتن محتوای اصلی با چالش روبه‌رو شوند.
2. عناصر غیرضروری و اضافی: بسیاری از صفحات دارای بخش‌های اضافی مانند تبلیغات، فهرست‌ها، فوتر، منوهای ناوبری و… هستند که برای کاربر مفید است، اما برای هوش مصنوعی ممکن است اطلاعات زائد باشند.
3. کدهای تودرتو و شلوغ: HTML ساختاری لایه‌لایه و تودرتو دارد. استخراج داده‌های موردنظر از بین این همه تگ و ساختار ممکن است پیچیده و زمان‌بر باشد.
4. تفاوت در استانداردها و ساختارها: هر وب‌سایت از قالب‌ها و استانداردهای متفاوتی استفاده می‌کند، بنابراین مدل‌های هوش مصنوعی نمی‌توانند یک راهکار ثابت برای همه صفحات داشته باشند.
5. محتوای پویا: بسیاری از وب‌سایت‌ها محتوای خود را به‌صورت دینامیک بارگذاری می‌کنند (مثلاً با AJAX). این نوع محتوا ممکن است هنگام پردازش اولیه صفحه، برای مدل‌های AI قابل‌مشاهده نباشد.
6. عدم تمرکز بر محتوا: HTML بیشتر برای نمایش داده‌ها طراحی شده تا ساختاردهی معنایی. بنابراین، مدل‌های زبانی باید تلاش زیادی برای تشخیص اطلاعات مهم از غیرمهم انجام دهند.

چالش های استفاده از LLMها در سئو

استفاده از LLMها می تواند مزایایی برای سایت و کسب و کار شما در پاسخ مدل های هوش مصنوعی دارد. اما می تواند چالش هایی هم در این مسیر وجود داشته باشد.اصلی ترین چالش بحث کیفیت و جامع بودن محتواست؛ زیرا باید محتوایی که داخل وب سایت منتشر می کنید باید از بقیه رقبای خود جامع تر باشند تا مدل های LLM محتوا شما را به عنوان مرجعی برای پاسخ کاربران خود بدانند.

استفاده از هوش مصنوعی برای تولید محتوا باعث شده که بسیاری برای تولید محتوا از آنها کمک بگیرند ولی محتوا از نظر کیفیت و کاربردی بودن برای کاربر مفید نباشند از این رو مدل ها محتوا را به عنوان پاسخ خود نمایش نخواهند داد.

ارتباط فایل LLMs با نتیایج AI Overview گوگل

بر اساس تجربه ما در سئو سایت‌های فارسی و انگلیسی متوجه شدیم که پارامترهایی مثل کیفیت محتوا، پاسخ سریع به کاربر و لینک سازی داخلی اصولی می‌توانند به گوگل و هوش مصنوعی کمک کنند تا محتوای شما را به عنوان یک مرجع کامل و ساختاریافته در نظر بگیرند…

البته این نکته را در نظر بگیرید که این موارد یک دستور مشخص ندارند و ممکن هست که باز در نتایج AI گوگل رتبه ای دریافت نکنید ولی با توجه به تجربیات ما تقریبا 70% تاثیر گذار هستند.

Agentic Browsing چیست؟ و چه تاثیری دارد؟

این مفهوم (Agentic Browsing) به این معنی که AI agentها فقط صفحه وب سایت شما را نمی خوانند، بلکه می توانند ساختار سایت را متوجه شوند، فرم ها را تشخیص دهند و با دکمه ها تعامل داشته باشند.

برای مثال یک ایجنت ممکن است در سایت شما این فعالیت ها را انجام دهد:

• یک محصول را پیدا کند.
• فرم مشاوره را تشخیص دهد.
• قیمت خدمات را بخواند.
• مراحل ثبت‌نام را بفهمد.
• لینک‌های مهم سایت را سریع پیدا کند.
• از محتوای اصلی سایت خلاصه قابل اعتمادی بسازد.

اگر سایت شما فقط از نظر ظاهری زیبا باشد، اما ساختار HTML، دسترس‌پذیری، ثبات چیدمان و معرفی محتوای آن برای ماشین‌ها ضعیف باشد، ممکن است برای انسان خوب دیده شود اما برای هوش مصنوعی مبهم باشد.

اینجاست که مفهوم جدید Lighthouse Agentic Browsing اهمیت پیدا می‌کند.

نمونه فایل ال ال ام (llms.txt)

فایل ال ال ام تی اکس تی باید با یک عنوان H1 که نام پروژه (سایت) است شروع شود و پس از آن یک خلاصه در قالب نقل‌قول بیاید. بخش‌های بعدی با استفاده از سرفصل‌های H2 برای سازمان‌دهی لینک‌های مستندات استفاده می‌شوند. بخش «اختیاری» منابع کم‌اهمیت‌تر را به‌طور مشخص علامت‌گذاری می‌کند.

# Project Name
> Brief project summary

Additional context and important notes

## Core Documentation
- [Quick Start](url): Description of the resource
- [API Reference](url): API documentation details

## Optional
- [Additional Resources](url): Supplementary information

تفاوت LLMs.txt با robots.txt و sitemap.xml

به صورت خلاصه بخواهیم توضیح بدهیم، این فایل از نظر ساختاری و کاربرد متفاوت از یکدیگر هستند.

• sitemap.xml یک لیستی از صفحات قابل ایندکس برای ربات های گوگل را فهرست می کند ولی در پردازش محتوا نقشی ندارد. مدل های AI باید HTML پیچیده  را تجزیه و تحلیل کرده و اطلاعات اضافی را مدیریت کنند.
• تنظیم robots.txt برای دسترسی خزنده به صفحات سایت می باشد که مشخص می کنیم که به کدام از صفحات دسترسی داشته باشند و به کدام از صفحات خیر.
• llms.txt ساختار سایت را برای انواع مدل های هوش مصنوعی ساده می کند. این فایل نشانه گذاری ها و اسکریپت های غیر ضروری را حذف کرده و محتوای اصلی را به صورت متن برای پردازش هوش مصنوعی ارائه می دهد.

مزایای استفاده از llms.txt در سایت

1. دسترسی سریع‌تر به اطلاعات: مدل‌های زبانی قادر خواهند بود با استفاده از llms.txt به‌راحتی و بدون نیاز به جستجو در کل سایت، مستندات و محتوای مورد نیاز را پیدا کنند. این امر باعث بهبود سرعت پردازش اطلاعات و دقت بالاتر می‌شود.
2. بهبود SEO و جستجو: از آنجا که مدل‌های زبان به‌طور مستقیم با محتوا و داده‌های ساختار یافته ارتباط دارند، استفاده از این فایل می‌تواند به بهبود نتایج جستجو و ارتقای سئو کمک کند.
3. بهبود تجربه کاربری: با تسهیل فرآیند تعاملات با مدل‌های زبان، کاربران تجربه بهتری در استفاده از سایت و ابزارهای هوش مصنوعی خواهند داشت.

چرا این فایل برای بهینه سازی سئو مهم است؟

در مفاهیم سئو مقدماتی همیشه آموزش داده می‌شد که تمرکز اصلی روی کراول، ایندکس و رتبه‌گرفتن صفحه در گوگل است. اما امروز مدل‌های هوش مصنوعی، مرورگرهای هوشمند، پاسخ‌های مولد و Agentها در حال تبدیل شدن به لایه جدیدی بین کاربر و وب هستند…

کاربر آینده ممکن است خودش وارد سایت شما نشود. ممکن است از یک دستیار هوش مصنوعی بخواهد:

بهترین شرکت طراحی سایت را پیدا کن.
یک دوره مناسب برای کودک من پیشنهاد بده.
شرایط پذیرش دانشگاه را خلاصه کن.
قیمت و مراحل ثبت‌نام را مقایسه کن.
از این سایت اطلاعات اصلی را استخراج کن.

در چنین شرایطی، اگر سایت شما برای ماشین قابل فهم نباشد، ممکن است حتی با وجود محتوای خوب، در این مسیر جدید کمتر دیده شود.

فرمت Markdown چیست؟

مارک‌داون یک زبان نشانه‌گذاری ساده و سبک است که نوشتن متون قالب‌بندی‌شده را بسیار آسان می‌کند. هدف اصلی Markdown این است که بتوانید بدون درگیر شدن با کدهای پیچیده، متنی خوانا بنویسید که به‌راحتی به فرمت‌هایی مثل HTML یا PDF تبدیل می‌شود.

چرا از Markdown استفاده کنیم؟

• سادگی در نگارش: بدون نیاز به دانش کدنویسی، تنها با چند علامت ساده متن خود را شکل می‌دهید.

• قالب‌بندی سریع: قابلیت ساخت تیترها، لیست‌های نقطه‌ای، لینک‌ها و برجسته‌سازی کلمات در چند ثانیه.

• انعطاف‌پذیری بالا: قابلیت خروجی گرفتن آسان به فرمت‌های متداول وب و اسناد.

آموزش ساخت فایل llms.txt (مرحله به مرحله)

در اینجا بخش‌هایی از Markdown را که در فایل llms.txt به‌کار می‌روند، آموزش می‌دهیم.

1.عنوان ها

برای ایجاد عنوان‌های مختلف در Markdown، از علامت # استفاده می‌کنید. تعداد #‌ ها نشان‌دهنده سطح عنوان است. برای مثال:

عنوان اصلی (هدینگ ۱):

# نام سایت

عنوان فرعی (سطح ۲):

## مستندات

عنوان سطح پایین‌تر (سطح ۳):

### درباره ما

2. متن‌های بولد (Bold) و ایتالیک

برای برجسته‌سازی متن‌ها، می‌توانید از ** برای بولد و از * برای ایتالیک استفاده کنید.

متن بولد:

**خدمات SEO**

متن ایتالیک:

*مشاوره SEO*

3. لیست‌ها

برای ایجاد لیست‌های مرتب (عددگذاری شده) یا لیست‌های بدون شماره، از Markdown استفاده می‌شود.

برای لیست گلوله ای از – یا * استفاده کنید.

- مورد اول

 - مورد دوم

 - مورد سوم

لیست مرتب (Ordered List): از اعداد و نقطه (.) استفاده کنید.

1. مورد اول

2. مورد دوم

3. مورد سوم

4. لینک‌ها

برای ایجاد لینک‌ها به صفحات مختلف سایت، از ساختار زیر استفاده می‌کنید:

[متن لینک](URL)

مثال:

[درباره ما](https://example.com/about)

5. یادداشت‌ها

برای اضافه کردن یادداشت‌ها یا توضیحات خاص می‌توانید از علامت < استفاده کنید. این ویژگی برای درج توضیحات یا توصیه‌ها در فایل llms.txt مفید است.

> این فایل `llms.txt` به مدل‌های زبان کمک می‌کند تا به محتوای سایت دسترسی سریع‌تری داشته باشند.

6. کد

اگر لازم است بخش‌هایی از کد یا مسیرهای فایل‌ها را نشان دهید، از علامت سه‌گانه “` استفاده کنید. این کار به‌ویژه برای مشخص کردن مسیرهای فایل‌های Markdown یا مسیرهای URL مفید است.

markdownCopyEdit

```plaintext
https://example.com/docs/about.md

نمونه کامل و ساده از فایل LLM برای آراز سیستم

### **نمونه ساختار فایل `llms.txt`**

در اینجا یک مثال از فایل `llms.txt` که از قواعد بالا استفاده می‌کند آورده شده است:

```markdown
# Nardeban Digital Group

> ارائه‌دهنده خدمات دیجیتال مارکتینگ و SEO

## مستندات

- [درباره ما](https://arazitco.com/docs/طراحی-سایت-آراز-سیستم/)
- [خدمات SEO](https://arazitco.com/docs/سئو/)

- [طراحی سایت](https://arazitco.com/docs/طراحی-وب-سایت-اختصاصی/)

## تماس با ما

- [تماس با ما](https://arazitco.com/contact/)

• از عنوان‌ها برای دسته‌بندی بخش‌های مختلف استفاده شده است.
• لینک‌ها به صفحات مختلف سایت داده شده‌اند.
• لیست‌های گلوله‌ای برای نمایش مستندات و خدمات استفاده شده است.

این فرمت ساده و ساختاریافته، به مدل‌های زبان کمک می‌کند تا به‌راحتی محتوای سایت را شناسایی و پردازش کنند.

ابزارهای ساخت فایل llms.txt

1. Mintlify: به‌صورت خودکار فایل‌های /llms.txt و /llms-full.txt را برای مستندات میزبانی‌شده تولید می‌کند.
2. dotenv: ابزاری از سازنده dotenvx به نام Mot که با استفاده از فایل sitemap.xml سایت شما، فایل llms.txt را تولید می‌کند.
3. Firecrawl: ابزاری دیگر از بنیان‌گذار Firecrawl، اریک چارلا، که با استفاده از Firecrawl وب‌سایت شما را کرال کرده و فایل llms.txt را تولید می‌کند.

افزونه وردپرس برای سایخت فایل llms.txt

برای مدیریت و ایجاد این فایل در سایت‌های وردپرسی، افزونه‌ای به نام LLMs.txt Creator منتشر شده است. این افزونه توسط Not Provided توسعه داده شده و به شما امکان می‌دهد تا بدون نیاز به ویرایش دستی، فایل llm.txt را ایجاد و تنظیم کنید. (خبر خوب اینکه افزونه رنک مث و یوست سئو هر دو امکان نوشتن فایل llms.txt را دارند.)

نتیجه گیری

فایل llms.txt یک استاندارد مدرن و نوظهور برای ساختاردهی و بهینه‌سازی محتوای وب‌سایت‌ها جهت استفاده توسط مدل‌های زبانی هوش مصنوعی (LLMها) است. پیاده‌سازی این فایل مزایای کلیدی زیر را برای مجموعه شما به همراه دارد:

• دسترسی سریع‌تر و دقیق‌تر: افزایش سرعت و کارایی هوش مصنوعی در تحلیل داده‌های سایت.
• تقویت سئو (SEO): بهبود درک موتورهای جستجو و هوش مصنوعی از ساختار محتوای شما.
• ارتقای تجربه کاربری (UX): ارائه اطلاعات دقیق‌تر و مرتبط‌تر به مخاطبان هدف.

اگر به دنبال آماده‌سازی وب‌سایت خود برای استانداردهای جدید هوش مصنوعی هستید یا به مشاوره تخصصی سئو نیاز دارید، تیم آراز سیستم در کنار شماست. ما به شما کمک می‌کنیم تا ساختار دیجیتال کسب‌وکار خود را ارتقا داده و به سطوح بالاتری از رشد دست یابید.

منابع:

LLMs.txt Explained

Meet llms.txt, a proposed standard for AI website content crawling

How to generate llms.txt