ساخت فایل robots.txt آنلاین

درباره ساخت robots.txt

فایل robots.txt اولین جایی است که ربات‌های موتور جستجو قبل از خزیدن سایت شما بررسی می‌کنند؛ با این ابزار می‌توانید بدون دانش فنی، دسترسی ربات‌ها به مسیرهای دلخواه را مجاز یا مسدود کنید.

می‌توانید برای هر User-agent یک قانون جداگانه تعریف کنید، تأخیر بین درخواست‌ها (Crawl-delay) را مشخص کرده و نشانی نقشه سایت را هم اضافه کنید.

خروجی تولیدشده را کپی کنید و در ریشه دامنه سایت (کنار index) قرار دهید.