הגדרות Robots
robots.txt
robots.txt (אותיות קטנות) והעלו לתיקיית השורש של האתר: https://example.co.il/robots.txtמחולל robots.txt — המדריך לאופטימיזציית Crawl Budget
קובץ robots.txt הוא קובץ טקסט פשוט שנמצא בתיקיית השורש של האתר ומנחה רובוטים (כגון Googlebot) אילו דפים מותרים לסריקה ואילו לא. חשוב להבין: robots.txt הוא הוראה, לא הגנה. רובוטים שלא מציתים לכללים (ספאמבוטים) יתעלמו ממנו. לחסימה אמיתית — השתמשו ב-noindex או בסיסמה.
Crawl Budget הוא מספר הדפים ש-Googlebot מוכן לסרוק באתרכם בפרק זמן נתון. לאתרים גדולים (אלפי דפים ומעלה), ניהול Crawl Budget הוא קריטי. חסימת דפים חסרי ערך ב-robots.txt (כגון עמודי admin, תוצאות חיפוש פנימי, עמודים עם פרמטרי URL) מאפשרת ל-Googlebot להתמקד בדפים החשובים ולסרוק אותם תכופות יותר.
שאלות נפוצות
Disallow ב-robots.txt מונע מגוגל לסרוק (crawl) את הדף — אבל הדף עדיין יכול להופיע בתוצאות החיפוש אם קיימים אליו קישורים חיצוניים. noindex מאפשר לגוגל לסרוק אבל אומר "אל תציג בתוצאות". אם רוצים שדף לא יופיע כלל בגוגל — השתמשו ב-noindex. Disallow מומלץ לדפים שאין צורך שגוגל יסרוק (כמו admin, checkout) לחיסכון ב-Crawl Budget.
robots.txt מנוהל בצורה לא נכונה עלול לפגוע ב-SEO קשות. שגיאה נפוצה: Disallow: / שחוסם את כל האתר (לרוב נגרמת בטעות מסביבת פיתוח). שגיאה נוספת: חסימת קבצי CSS ו-JavaScript — גוגל לא יוכל לרנדר את הדף ולהעריך אותו נכון. לפני כל שינוי — בדקו עם Google Search Console's robots.txt Tester.
ב-WordPress, כדאי לחסום: /wp-admin/ (אזור ניהול), /wp-includes/ (קבצי מערכת), /?s= (חיפוש פנימי — מייצר דפים כפולים), /cart/ ו-/checkout/ (WooCommerce), /tag/ ו-/date/ (אם לא רלוונטיים ל-SEO), /?replytocom= (תגובות — מייצר URLs כפולים). שמרו /wp-login.php כנגיש לגוגל כדי שלא ייצרו שגיאות crawl.
רוצה לדעת ראשון כשיוצאים כלים חדשים?
ניוזלטר שבועי · כלים חינמיים חדשים, עדכוני AI שמשנים את המשחק, וטיפים שמניעים עסקים קדימה — ישירות לתיבה שלך.
בחרו מה אתם צריכים ונתחיל מיד
מגיע לכם ייעוץ דיגיטלי חינמי
30 דקות עם ג'וני — נגלה ביחד מה יביא לכם יותר לקוחות מהאינטרנט.
ההצעה מוגבלת לפגישות הפנויות השבוע