מחולל robots.txt
צרו robots.txt עם מספר מקטעי user-agent, כללי Allow/Disallow, Crawl-delay אופציונלי, Host ו-שורות Sitemap. התצוגה המקדימה מתעדכנת בזמן ההקלדה.
מקטעי User-agent
כללי
הערות:
Host מכובד אצל חלק מהסורקים (למשל Yandex). Crawl-delay אינו בשימוש ב-Google אך ייתכן שייושם אצל אחרים. תווי כלליים * ו-$ נתמכים באופן רחב (לא חלק מ-RFC הליבה).
תצוגה מקדימה (robots.txt)
בודק כתובת URL
תזכורת:
robots.txt זמין לציבור ומשמש כהנחיה לסורקים מתנהגים היטב; הוא אינו מנגנון בקרת גישה.
Asted Cloud
תגובות (0)
שתפו את דעתכם — אנא היו מנומסים והישארו בנושא.
התחברו כדי להגיב