מחולל robots.txt

צרו קובץ robots.txt מותאם אישית. הגדירו הרשאות סריקה לגוגל ומנועי חיפוש, חינמי ומהיר.

הגדרות Robots

robots.txt

⚠️ הנחיות העלאה
שמרו את הקובץ בשם robots.txt (אותיות קטנות) והעלו לתיקיית השורש של האתר: https://example.co.il/robots.txt

מחולל robots.txt: המדריך לאופטימיזציית Crawl Budget

קובץ robots.txt הוא קובץ טקסט פשוט שנמצא בתיקיית השורש של האתר ומנחה רובוטים (כגון Googlebot) אילו דפים מותרים לסריקה ואילו לא. חשוב להבין: robots.txt הוא הוראה, לא הגנה. רובוטים שלא מציתים לכללים (ספאמבוטים) יתעלמו ממנו. לחסימה אמיתית: השתמשו ב-noindex או בסיסמה.

Crawl Budget הוא מספר הדפים ש-Googlebot מוכן לסרוק באתרכם בפרק זמן נתון. לאתרים גדולים (אלפי דפים ומעלה), ניהול Crawl Budget הוא קריטי. חסימת דפים חסרי ערך ב-robots.txt (כגון עמודי admin, תוצאות חיפוש פנימי, עמודים עם פרמטרי URL) מאפשרת ל-Googlebot להתמקד בדפים החשובים ולסרוק אותם תכופות יותר.

שאלות נפוצות על מחולל robots.txt

מה ההבדל בין Disallow ל-noindex?

Disallow ב-robots.txt מונע מגוגל לסרוק (crawl) את הדף, אבל הדף עדיין יכול להופיע בתוצאות החיפוש אם קיימים אליו קישורים חיצוניים. noindex מאפשר לגוגל לסרוק אבל אומר "אל תציג בתוצאות". אם רוצים שדף לא יופיע כלל בגוגל, השתמשו ב-noindex. Disallow מומלץ לדפים שאין צורך שגוגל יסרוק (כמו admin, checkout) לחיסכון ב-Crawl Budget.

האם robots.txt פוגע ב-SEO?

robots.txt מנוהל בצורה לא נכונה עלול לפגוע ב-SEO קשות. שגיאה נפוצה: Disallow: / שחוסם את כל האתר (לרוב נגרמת בטעות מסביבת פיתוח). שגיאה נוספת: חסימת קבצי CSS ו-JavaScript: גוגל לא יוכל לרנדר את הדף ולהעריך אותו נכון. לפני כל שינוי: בדקו עם Google Search Console's robots.txt Tester.

מה מומלץ לחסום ב-WordPress?

ב-WordPress, כדאי לחסום: /wp-admin/ (אזור ניהול), /wp-includes/ (קבצי מערכת), /?s= (חיפוש פנימי: מייצר דפים כפולים), /cart/ ו-/checkout/ (WooCommerce), /tag/ ו-/date/ (אם לא רלוונטיים ל-SEO), /?replytocom= (תגובות: מייצר URLs כפולים). שמרו /wp-login.php כנגיש לגוגל כדי שלא ייצרו שגיאות crawl.

SEO טכני בלי לנחש.

robots.txt, מפת אתר, סכמה, מהירות ואינדוקס. אנחנו בודקים את כל השכבה הטכנית של האתר ומתקנים את מה שמסתיר אותו מגוגל ומ-AI.

וואטסאפ ייפתח עם ההודעה מוכנה. נשאר רק ללחוץ שלח.

כלי חדש יוצא? תדעו ראשונים.

מייל קצר כשאנחנו משיקים כלי חינמי חדש, ועוד טיפ או שניים על אתרים, SEO ו-AI. בלי ספאם, הסרה בקליק.

כותבים תוכן לאתר? שגוגל גם ימצא אותו.

אורך הטקסט הוא פרט אחד. מחקר מילות מפתח, מבנה עמוד, סכמה וקישורים פנימיים הם מה שמביא עמוד לעמוד הראשון.

לקידום אתרים ←