מחולל robots.txt
צרו קובץ robots.txt מותאם אישית. הגדירו הרשאות סריקה לגוגל ומנועי חיפוש, חינמי ומהיר.
הגדרות Robots
robots.txt
robots.txt (אותיות קטנות) והעלו לתיקיית השורש של האתר: https://example.co.il/robots.txtמחולל robots.txt: המדריך לאופטימיזציית Crawl Budget
קובץ robots.txt הוא קובץ טקסט פשוט שנמצא בתיקיית השורש של האתר ומנחה רובוטים (כגון Googlebot) אילו דפים מותרים לסריקה ואילו לא. חשוב להבין: robots.txt הוא הוראה, לא הגנה. רובוטים שלא מציתים לכללים (ספאמבוטים) יתעלמו ממנו. לחסימה אמיתית: השתמשו ב-noindex או בסיסמה.
Crawl Budget הוא מספר הדפים ש-Googlebot מוכן לסרוק באתרכם בפרק זמן נתון. לאתרים גדולים (אלפי דפים ומעלה), ניהול Crawl Budget הוא קריטי. חסימת דפים חסרי ערך ב-robots.txt (כגון עמודי admin, תוצאות חיפוש פנימי, עמודים עם פרמטרי URL) מאפשרת ל-Googlebot להתמקד בדפים החשובים ולסרוק אותם תכופות יותר.
שאלות נפוצות על מחולל robots.txt
מה ההבדל בין Disallow ל-noindex?
Disallow ב-robots.txt מונע מגוגל לסרוק (crawl) את הדף, אבל הדף עדיין יכול להופיע בתוצאות החיפוש אם קיימים אליו קישורים חיצוניים. noindex מאפשר לגוגל לסרוק אבל אומר "אל תציג בתוצאות". אם רוצים שדף לא יופיע כלל בגוגל, השתמשו ב-noindex. Disallow מומלץ לדפים שאין צורך שגוגל יסרוק (כמו admin, checkout) לחיסכון ב-Crawl Budget.
האם robots.txt פוגע ב-SEO?
robots.txt מנוהל בצורה לא נכונה עלול לפגוע ב-SEO קשות. שגיאה נפוצה: Disallow: / שחוסם את כל האתר (לרוב נגרמת בטעות מסביבת פיתוח). שגיאה נוספת: חסימת קבצי CSS ו-JavaScript: גוגל לא יוכל לרנדר את הדף ולהעריך אותו נכון. לפני כל שינוי: בדקו עם Google Search Console's robots.txt Tester.
מה מומלץ לחסום ב-WordPress?
ב-WordPress, כדאי לחסום: /wp-admin/ (אזור ניהול), /wp-includes/ (קבצי מערכת), /?s= (חיפוש פנימי: מייצר דפים כפולים), /cart/ ו-/checkout/ (WooCommerce), /tag/ ו-/date/ (אם לא רלוונטיים ל-SEO), /?replytocom= (תגובות: מייצר URLs כפולים). שמרו /wp-login.php כנגיש לגוגל כדי שלא ייצרו שגיאות crawl.
כותבים תוכן לאתר? שגוגל גם ימצא אותו.
אורך הטקסט הוא פרט אחד. מחקר מילות מפתח, מבנה עמוד, סכמה וקישורים פנימיים הם מה שמביא עמוד לעמוד הראשון.


