7 نکته برای بهینه سازی بودجه خزش ( Crawl Budget) در سئو

بودجه خزش یا Crawl Budget، یکی از مفاهیم حیاتی seo است که اغلب نادیده گرفته می شود.
وظایف و مسائل بسیار زیادی وجود دارد که یک متخصص سئو باید در نظر داشته باشد و البته اغلب این مطالب هم نادیده می شود.
به طور خلاصه، بودجه خزش می تواند و باید بهینه شود.
در این مقاله یاد خواهید گرفت که:

• چگونه بودجه خزش خود را در طول مسیر بهبود دهید.
• تغییرات بودجه خزش را به عنوان یک مفهوم در چند سال گذشته مرور کنید.

Crawl Budget یا بودجه خزش چیست؟

برای آن دسته از ما که به دلیل درگیری های ذهنی و فکری، فراموش کرده ایم بودجه خزش به چه معناست، در اینجا یک جمع بندی سریع ارائه شده است.
بودجه خزش صرفاً فرکانسی است که خزنده‌های موتور جستجو (به عنوان مثال spiders و bots) در صفحات دامنه شما از آن استفاده می کنند.
این فرکانس به عنوان تعادل آزمایشی بین تلاش‌های Googlebot برای جلوگیری از ازدحام در سرور شما و تمایل کلی Google برای خزیدن دامنه در نظر گرفته شده است.
بهینه سازی بودجه خزش تنها مجموعه ای از مراحلی است که می توانید به طور خاص برای افزایش نرخ بازدید ربات های موتورهای جستجو از صفحات خود از آنها بهره ببرید.
هر چه تعداد دفعات بازدید آنها بیشتر باشد، سریعتر به فهرست به روز رسانی صفحات وارد می شود.
در نتیجه، تلاش‌های بهینه‌سازی زمان کمتری می‌برد تا بر رتبه‌بندی نیز تأثیر مطلوبی بگذارد.
به عبارتی، این شاید مهم‌ترین کاری باشد که همه ما باید هر ثانیه آن را انجام دهیم، البته به طور کامل.

چرا بهینه سازی بودجه خزش نادیده گرفته می شود؟

برای پاسخ به این سوال، تنها کافی است نگاهی به این پست وبلاگ رسمی گوگل (official blog post) بیندازید.
همانطور که گوگل به وضوح توضیح می دهد، خزش به خودی خود نمی تواند یکی از عوامل رتبه بندی در نظر گرفته شود.
بنابراین این به تنهایی کافی است تا برخی از متخصصان سئو به بودجه خزش حتی فکر هم نکنند.
برای بسیاری از ما، این خزش "نه به منزله ی یک عامل رتبه بندی" که معادل جمله ی "این مشکل من نیست" می باشد.
من البته به طور جدی با آن مخالفم.
اما حتی با فراموش کردن این موضوع، نظرات گری ایلیس (Gary Illyes) در گوگل مطرح می گردد. او صریحاً اعلام کرده است که برای یک وب سایت عظیم با میلیون ها و میلیون ها صفحه، مدیریت بودجه خزش مطمئنا کاری منطقی خواهد بود.
اما اگر دارای دامنه‌ای با اندازه متوسط هستید، دیگر نیازی نیست که خودتان را خیلی نگران بودجه خزش کنید. (و در واقع اضافه می کند که اگر میلیون‌ها و میلیون‌ها صفحه دارید، باید مقداری از محتوا را کاهش دهید که برای دامنه شما نیز مفید است.)
اما، همانطور که می دانیم، سئو به هیچ وجه بازی مبتنی بر تغییر یک عامل بزرگ و کسب نتایج نیست.
سئو یک عمل متکی بر فرآیند برای ایجاد تغییرات کوچک و تدریجی، و مراقبت از ده ها معیار است.
کار ما، در این مسیر دشوار، این است که مطمئن شویم هزاران چیز کوچک تا حد ممکن بهینه شده اند.
علاوه بر این، اگرچه به خودی خود یک عامل خزنده نمی تواند تاثیر زیادی داشته باشد، و همانطور که جان مولر در گوگل اشاره می کند، برای دگرگونی و سلامت کلی وب سایت همواره مفید می باشد.
با تمام این موارد، بهتر است مطمئن شوید هیچ چیزی در وب سایت شما به طور فعال به بودجه خزش شما آسیب نمی زند.

امروزه چگونه باید بودجه خزش را بهینه سازی کرد

هنوز مواردی هستند که بسیار سنگین بوده و اهمیت سایر موارد به طور چشمگیری تغییر کرده است تا جایی که اصلاً مرتبط به این مسئله نیستند.
همه کاربران باید کماکان به آنچه که من آن را "مظنونین رایج" در سلامت وب سایت می نامم توجه داشته باشند.

1. اجازه ی خزش صفحات مهم خود در Robots.Txt را بدهید

این یک قدم رایج و اولین و مهمترین قدم طبیعی است.
مدیریت robots.txt را می توان به طور دستی و یا با استفاده از ابزار بررسی وب سایت انجام داد.
من ترجیح می دهم تا حد امکان فقط از یک ابزار استفاده کنم. زیرا استفاده از یک ابزار راحت تر و موثرتر است.
برای این کار کافی است robots.txt خود را به ابزار انتخابی خود اضافه کنید که به شما این امکان را می دهد تا خزش هر صفحه از دامنه خود را در چند ثانیه مجاز یا مسدود کنید. پس از آن یک سند ویرایش شده و voila را آپلود خواهید کرد!
بدیهی است که هر کسی تقریباً می تواند این کار را به طور دستی انجام دهد. اما با توجه تجربه شخصی خود می‌دانم که با یک وب‌سایت واقعاً بزرگ، که ممکن است به کالیبراسیون‌های مکرر نیاز باشد، بهتر است به یک ابزار اجازه دهید تا به شما در این زینه کمک کند.

2. مراقب تغییر مسیر زنجیره ها باشید

این یک رویکرد عاقلانه برای سلامت وب سایت است.
در حالت ایده آل، می توانید حتی از یک زنجیره تغییر مسیر در کل دامنه خود نیز اجتناب کنید.
راستش را بخواهید، این کار برای یک وب سایت واقعاً بزرگ کار غیرممکنی است ، زیرا تغییر مسیرهای 301 و 302 حتما در آن ظاهر می شوند.
اما تعداد زیادی از آن‌ها، که به‌هم زنجیر شده‌اند، قطعاً به محدودیت خزش شما آسیب می‌رسانند، تا جایی که خزنده موتور جستجو ممکن است عمل خزش را متوقف کند، بدون اینکه به صفحه‌ای که نیاز دارید ایندکس شود.
ممکن است یک یا دو تغییر مسیر به چند جا، آسیب زیادی به شما وارد نکند، اما با این وجود، تمام کاربران باید به خوبی از آن مراقبت کنند.

3. هر زمان که ممکن است از HTML استفاده کنید

اگر از گوگل استفاده می کنید، باید گفت که عملکرد خزنده آن خصوصا در خزش ها جاوا اسکریپت بسیار بهتر شده و در خزش و نمایه سازی Flash و XML نیز بهبود یافته است.
از سوی دیگر، موتورهای جستجوی دیگر هنوز کاملاً با این مرحله آشنا نیستند.
به همین دلیل، دیدگاه شخصی من این است که در صورت امکان، باید به HTML پایبند باشید.

4. اجازه ندهید که خطاهای HTTP بودجه خزش شما را هدر دهد

از نظر فنی، صفحات 404 و 410 به بودجه خزش شما کمک می کند.
و اگر چنین نباشد، به تجربه کاربری شما نیز آسیب می رساند!
دقیقاً به همین دلیل است که اصلاح همه کدهای وضعیت 4xx و 5xx واقعاً یک وضعیت برد-برد تلقی می شود.
در این مورد، باز هم، من طرفدار استفاده از ابزاری برای بررسی محتوای وب سایت هستم.
رتبه بندی SE و Screaming Frog ابزارهایی عالی به شمار می روند که متخصصان سئو برای انجام بررسی محتوای وب سایت از آنها استفاده می کنند.

5. مراقب پارامترهای URL خود باشید

همیشه به خاطر داشته باشید که URL های جداگانه توسط خزنده ها به عنوان صفحات جداگانه در نظر گرفته شده و بودجه خزش را هدر می دهند.
باز هم، اطلاع رسانی به Google در مورد این پارامترهای URL یک وضعیت برد-برد خواهد بود، زیرا در بودجه خزش شما صرفه جویی می کند و همچنین از ایجاد نگرانی در مورد محتوای تکراری جلوگیری خواهد کرد.
پس حتما آنها را به کنسول جستجوی گوگل خود اضافه کنید.

6. نقشه سایت خود را به روز کنید

اینجا هم مراقبت از نقشه سایت XML خود، یک وضعیت برد برد واقعی است.
ربات ها درک بهتر و آسان تری از مقاصد نهایی لینک های داخلی دارند.
بهتر است تنها از URL های متعارف برای نقشه سایت خود استفاده کنید.
همچنین، باید مطمئن شوید که با جدیدترین نسخه آپلود شده robots.txt مطابقت دارد.

7. برچسب های Hreflang بسیار حیاتی هستند

به منظور تجزیه و تحلیل صفحات بومی سازی شده ، خزنده ها از برچسب های hreflang استفاده می کنند. و باید تا حد امکان به گوگل در مورد نسخه های بومی سازی شده صفحات خود توضیحات لازم را ارائه دهید.
ابتدا از

در سربرگ صفحه خود استفاده کنید که در آن "lang_code" کدی برای یک زبان پشتیبانی شده است.
و باید از عنصر برای هر URL داده شده استفاده نمایید. بدین ترتیب، می توانید به نسخه های محلی یک صفحه اشاره نمایید.

خلاصه

اگر سوال شما این است که آیا بهینه‌سازی بودجه خزش همچنان برای وب‌سایت تان مهم است، پاسخ واضح است: بله.
بودجه خزش نکته مهمی بوده و در حال حاضر نیز از اهمیت بالایی برخودر داست و احتمالاً هر متخصص سئو باید آن را در نظر داشته باشد.
امیدواریم این نکات به شما کمک کند تا بودجه خزش خود را بهینه نموده و عملکرد seo خود را بهبود بخشید.
موفق باشید!