بودجه خزش (crawl budget) چیست ؟ ارتباط بودجه خزش با سئو

بودجه ی خزش (crawl budget)
بودجه ی خزش (crawl budget)

سئو روش اثبات شده ای است که باعث می شود صفحه شما برای افرادی که به دنبال چیزهای خاصی در موتور جستجو هستند با استفاده از کلمات مربوطه بیشتر دیده شود.

اولین مرحله سئو این است که ربات های موتور جست و جو بتوانند سایت شما را بررسی کرده و اطلاعات آن را ذخیره کنند.

اما چگونه می توان صفحات خود را برای ربات های موتور جست و جو بهینه کرد تا فرایند ایندکس بدون مشکل انجام گیرد؟

این جایی است که مسئله بودجه خزش مطرح می شود.

در این پست به معنی بودجه خزش و راه های بهینه سازی آن می پردازیم.

[بودجه خزش (crawl budget) چیست؟]

با اینکه بودجه خزش توسط معانی مختلفی توضیح داده می شود ، اما ساده ترین و بهترین معنی بودجه خزش ، میزان زمانی است که ربات های گوگل برای بررسی صفحات و مطالب ، در سایت شما سپرانی می کنند.

البته می توان بودجه ی خزش را به این شکل نیز معنی کرد:

بودجه خزش تعداد URL هایی است که ربات های گوگل در هر بازدید آن ها را بررسی و اطلاعات آن را ذخیره می کنند.

اکثر کارشناسان سئو معتقند که بودجه خزش اهمیت چندانی ندارد ، مگر اینکه یک سایت بزرگ با تعداد صفحات زیاد داشته باشید.

اما سایت های کوچکی وجود دارند که به دلیل تعداد زیادی لینک شکسته ، صفحات بی اهمیت و بی کیفیت یا صفحات با محتوای تکراری ، سایت آن ها در فرایند ایندکس و خزش به مشکل می خورد.

چنین سایت هایی شانسی برای افزایش رتبه و سئو نخواهند داشت ، حتی اگر هزاران صفحه ی دیگر ایجاد کنند چیزی عوض نمی شود.به این دلیل باید ابتدا مشکلات را برطرف کنند.

یکی از مزایای توجه به بودجه خزش و بهینه سازی آن همین مسئله است ، بسیاری از سایت ها تا قبل از تصمیم گیری در مورد بهینه سازی بودجه خزش ، متوجه مشکلات سایت خود نمی شوند و بعد از آن است که پی به موارد منفی مختلفی که در سایت وجود دارد می برند.

بنابراین لازم است تا به این مسئله توجه کافی شود.

[بودجه خزش چگونه تعیین می شود؟]

هنگام اختصاص بودجه خزش ، گوگل به طور کلی چهار مورد را مورد بررسی قرار می دهد: محبوبیت وب سایت ، میزان بروزرسانی ، تعداد صفحات و ظرفیت مدیریت خزش.

می توانید توسط یک سری از نکات ، به گوگل کمک کنید تا سایت شما را بدون مشکل بررسی و ذخیره کند.

 [چرا بودجه خزش مهم است؟]

چرا بودجه خزش مهم است؟
چرا بودجه خزش مهم است؟

بودجه خزش تعیین می کند که صفحات شما چقدر سریع در نتایج جستجو ظاهر می شوند.

مسئله اصلی در اینجا این است که ممکن است بین بودجه خزیدن و نرخ بروزرسانی وب سایت شما ناسازگاری وجود داشته باشد.

اگر این اتفاق بیفتد ، بین لحظه ای که صفحه ای را ایجاد یا به روز رسانی می کنید و زمانی که در جستجو ظاهر می شود ، فاصله فزاینده ای را تجربه خواهید کرد.

یکی از دلایل احتمالی عدم دریافت بودجه کافی برای خزش این است که گوگل وب سایت شما را به اندازه کافی مهم نمی داند.

بنابراین یا اسپم است یا تجربه کاربری بسیار ضعیفی را ارائه می دهد و یا احتمالاً هر دو.

در این صورت ، کارهای زیادی نمی توانید انجام دهید جز انتشار محتوای با کیفیت تر.

یکی دیگر از دلایل احتمالی عدم دریافت بودجه کافی برای خزش وب سایت ، مسائلیست که در سایت شما وجود دارد.

برخی مشکلات فنی می تواند فرایند خزش سایت شما را دچار مشکل کند.

در این صورت ، باید مشکلات را حل کنید تا خزش سایت شما بدون اشکال صورت گیرد که به آن ها در ادامه ی این راهنما اشاره می کنیم.

[آیا باید نگران بودجه خزش سایت خود باشید؟]

اگر از یک وب سایت بزرگ یا متوسط ​​با نرخ بروزرسانی مکرر (از یک بار در روز تا یک بار در هفته) استفاده می کنید ، بودجه خزش برای شما می تواند به یک مشکل تبدیل شود.

صرف نظر از اندازه وب سایت ، بهتر است حداقل یکبار سایت خود را از نظر بهینه بودن برای خزش ربات ها بررسی کنید.

[چگونه بودجه خزش سایت خود را بهینه کنیم؟]

چندین کار وجود دارد که باید انجام دهید تا سایت شما به درستی و بدون اشکال توسط ربات ها بررسی شود که به آن ها می پردازیم:

_ارسال نقشه سایت به کنسول جست و جوی گوگل_

نقشه سایت سندی است که شامل تمام صفحاتی است که می خواهید در نتایج جست و جو پدیدار شوند.

بدون نقشه سایت ، گوگل باید صفحات فرعی سایت شما را خود به خود کشف کند. به این ترتیب ، مدتی طول می کشد تا گوگل موضوع و ارتباط کل وب سایت شما را بفهمد و تصمیم بگیرد که کدام یک از صفحات کشف شده باید فهرست بندی شوند و کدام صفحات نباید نمایه شوند.

با نقشه سایت ، گوگل دقیقاً می داند که وب سایت شما چه میزان بزرگ است و کدام صفحات باید نمایه شوند.

حتی می توانید به وسیله ی نقشه سایت به گوگل بگویید اولویت شما کدام صفحات است و هر چند وقت یکبار به روز می شود.

با تمام این اطلاعات موجود ، گوگل می تواند مناسب ترین الگوی خزش را برای وب سایت شما طراحی کند.

در حال حاضر ، راه های زیادی برای ایجاد نقشه سایت وجود دارد. اگر از پلت فرم CMS مانند وردپرس استفاده می کنید ، افزونه هایی مانند All seo in one می توانند به شما در ایجاد نقشه سایت کمک کنند.

_حل تعارضات خزنده_

یکی از مشکلات رایج خزش این است که گوگل فکر می کند صفحه باید خزیده شود اما نمی تواند به آن دسترسی پیدا کند.

در این مورد ، یکی از دو اتفاق ممکن است رخ داده باشد:

گزینه 1. صفحه نباید خزیده شود و به اشتباه به گوگل ارسال شده است. در این حالت ، شما باید صفحه را با حذف آن از نقشه سایت یا حذف پیوندهای داخلی صفحه یا احتمالاً هر دو ، از فرایند ایندکس حذف کنید.

گزینه 2. صفحه باید خزیده شود و دسترسی به اشتباه رد می شود.در این مورد ، باید بررسی کنید چه چیزی دسترسی را مسدود می کند (robots.txt ، 404، 503 ، خطای تغییر مسیر) و بر این اساس مشکل را برطرف کنید.

در هر صورت ، این سیگنال های ترکیبی گوگل را به بن بست می رساند و بودجه خزش شما را بی جهت هدر می دهد.

بهترین راه برای یافتن و حل این مسائل ، بررسی گزارش فرایند خزش سایت خود در Google Search Console است.

_صفحاتی را که نباید خزیده شوند پنهان کنید_

نوع دیگری از درگیری خزنده زمانی است که یک صفحه به اشتباه خزیده و نمایه شده است.

این بدیهی است که بودجه خزش شما هدر می رود ، اما مهمتر از همه ، می تواند یک نگرانی امنیتی نیز باشد.

اگر از روش اشتباه برای جلوگیری از خزش استفاده کردید ، ممکن است به این معنی باشد که برخی از صفحات خصوصی شما نمایه شده اند و اکنون در دسترس عموم هستند.

برای یافتن چنین صفحاتی ، بهتر است به  کنسول جست و جوی گوگل و گزارش صفحات ایندکس شده مراجعه کنید . به برگه Valid with warning بروید و تعداد صفحات خزیده شده ، مشكلات مشكوك و لیست صفحات آسیب دیده را دریافت خواهید كرد

برای حل این مشکل ، فهرست صفحات را مرور کرده و تصمیم بگیرید که کدام یک از آن ها در نتایج گوگل نشان داده شوند و کدام یک نه.

_منابع غیر ضروری را مخفی کنید_

شما می توانید با حذف موارد اضافی ، بودجه خزش خود را بهینه کنید.مواردی مانند gif ها ، فیلم ها و تصاویر می توانند حافظه زیادی را اشغال کنند ، اما اغلب برای تزئین یا سرگرمی استفاده می شوند و ممکن است برای درک محتوای صفحه مهم نباشند.

برای جلوگیری از خزش این منابع غیر ضروری توسط گوگل ، آنها را در فایل robots.txt قرار دهید. مانند :

:User-agent
disallow/images/filename.jpg

همچنین می توانید انواع فایل ها را ممنوع کنید:

User-agent:Disallow:/gif

_از زنجیره های تغییر مسیر طولانی خودداری کنید_

اگر تعداد نامعقول تغییر مسیر 301 و 302 در یک سایت وجود داشته باشد ، موتورهای جستجو در برخی موارد پیگیری تغییر مسیرها را متوقف می کنند و ممکن است صفحه مقصد خزیده  نشود.

علاوه بر این ، هر URL هدایت شده یک واحد از بودجه خزش شما را هدر می دهد. اطمینان حاصل کنید که بیش از دو بار متوالی از تغییر مسیرها استفاده نمی کنید و فقط در مواقع ضروری از تغییری مسیر استفاده می کنید.

_مدیریت URL های پویا_

سیستم های معروف مدیریت محتوا URL های پویای زیادی تولید می کنند که همه آنها به یک صفحه منتهی می شوند.

به طور پیش فرض ، ربات های موتورهای جستجو با این URL ها به عنوان صفحات جداگانه برخورد می کنند.در نتیجه ، شما ممکن است هم بودجه خزش خود را هدر دهید و هم به طور بالقوه ، مسئله محتوای تکراری را ایجاد کنید.

این مشکل را نیز می توانید توسط کنسول جست و جوی گوگل حل کنید.

_مسائل محتوای تکراری را حل کنید_

منظور از محتوای تکراری داشتن دو یا چند صفحه با محتوای تقریباً مشابه است. این موضوع می تواند به دلایل مختلف رخ دهد.

مشکل داشتن محتوای تکراری این است که شما دو برابر بودجه را برای خزش در یک نوع محتوا هدر می دهید.

برای حل مسائل محتوای تکراری ، ابتدا باید صفحات تکراری را پیدا کنید. یکی از راه های این کار جستجوی عناوین تکراری و توضیحات متا در ابزار WebSite Auditor است

عناوین و به ویژه توضیحات متا شاخص خوبی برای صفحات دارای محتوای یکسان است. اگر هر یک از صفحات مشابه را پیدا کردید ، باید تصمیم بگیرید که کدام صفحه اصلی است و کدام یک تکراری است. حالا به صفحه تکراری بروید و این کد را به قسمت <head> اضافه کنید:

<link rel = “canonical” href = “https://example.com/main-page”/>

در قسمت URL آدرس صفحه اصلی را قرار دهید.

به این ترتیب گوگل صفحات تکراری را نادیده می گیرد و به جای آن روی خزش و بررسی صفحات اصلی تمرکز می کند.

_بهینه سازی ساختار سایت_

اگرچه لینک داخلی با بودجه خزش شما ارتباط مستقیمی ندارد ، اما گوگل می گوید صفحاتی که مستقیماً از صفحه اصلی شما پیوند خورده اند ممکن است مهمتر تلقی شوند و بیشتر اوقات خزیده شوند.

به طور کلی ، حفظ مکان های مهم سایت در فاصله بیش از سه کلیک از هر صفحه توصیه خوبی است.

مهمترین صفحات و دسته بندی ها را در منو یا پاورقی سایت خود قرار دهید.

_درخواست خزش و بررسی_

در صورتی که به تازگی یک مورد شگفت انگیز را منتشر کرده اید یا به روز کرده اید و نمی توانید منتظر بمانید تا گوگل آن را بررسی کند ، می توانید از طریق کنسول جست و جوی گوگل ، برای صفحه ای از سایت خود درخواست بررسی به گوگل بفرستید.

تأثیر این درخواست ممکن است گاها فوری نباشد،اما در بیشتر مواقع ظرف یک روز صفحه ی مورد نظر شما توسط گوگل اررزیابی می شود.

[خلاصه ی بودجه خزش]

سئو تنها به معنی بهینه سازی محتوا  و ایجاد بک لینک نیست. برای بدون نقص انجام شدن فرایند بررسی سایت شما توسط گوگل،باید تلاش کنید مشکلات فنی احتمالی سایت خود را برای بهینه سازی بودجه خزش برطرف کنید تا صفحات سایت شما به خوبی توسط ربات های گوگل مورد بررسی قرار بگیرد و به سرعت در نتایج جست و جو پدیدار شود.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *