تفاوت خطاهای 404 در مقابل soft 404 و چگونگی برطرف سازی هر کدام از آنها

هر صفحه ای که در یک مرورگر وب بارگیری می شود دارای یک کد پاسخ است و در سرفصل های HTTP گنجانده شده است که ممکن است در خود صفحه وب قابل مشاهده باشد یا نباشد.
کدهای پاسخ متفاوتی وجود دارد که سرور برای برقراری ارتباط با وضعیت بارگذاری صفحه آنها را ارائه می دهد. یکی از شناخته شده ترین کدها کد 404-response است.
به طور کلی، هر کدی بین 400 تا 499 نشان می دهد که صفحه بارگیری نشده است. کد پاسخ 404 تنها کدی است که دارای معنای خاصی است، و معنای آن این است که صفحه واقعاً از بین رفته و احتمالاً به این زودی ها درست نخواهد شد.

خطای soft 404 چیست؟

خطای 404 یک کد پاسخ رسمی به این مضمون است که مطالب به مرورگر وب ارسال نمی شود. این تنها برچسبی است که گوگل به صفحه ای در فهرست خود اضافه می کند.
همانطور که گوگل صفحات را می خزد، منابع را با دقت تخصیص می دهد تا اطمینان حاصل نماید که با خزیدن صفحات از دسترس خارج شده ای که نیازی به نمایه شدن ندارند، زمان زیادی تلف نمی شود.
با این حال، برخی از سرورها هستند که پیکربندی ضعیفی دارند و زمانی که باید یک کد با پاسخ 404 را نمایش دهد، صفحه از دست رفته آنها یک کد 200 را بارگیری می کند. اگر هدر نامرئی HTTP یک کد 200 را نمایش دهد، حتی اگر صفحه وب به وضوح نشان دهد که صفحه پیدا نشده است، ممکن است صفحه نمایه شود، که برای گوگل نوعی اتلاف به شمار می رود.
برای برطرف ساختن این مشکل، گوگل ویژگی های 404 صفحه را یادداشت کرده و سعی دارد تشخیص دهد که آیا صفحه 404 واقعاً یک صفحه 404 است یا خیر. به عبارت دیگر، گوگل یاد می گیرد که اگر صفحه ای شبیه 404 به نظر می رسد، همانند 404 عمل کند، و احتمالاً صفحه 404 واقعی است.

شناسایی خطای بالقوه به عنوان soft 404

مواردی نیز وجود دارد که در آن صفحه به طور قطع از دسترس خارج نشده است، اما ویژگی‌های خاصی باعث شده است که Google آن را به عنوان صفحه ی از دست رفته دسته‌بندی نماید.
برخی از این ویژگی ها شامل حجم کم یا کمبود محتوا در صفحه و داشتن تعداد زیاد صفحات مشابه در سایت است.
این ویژگی ها نیز مشابه عواملی هستند که الگوریتم پاندا (Panda algorithm) با آنها مقابله می کند. به روز رسانی پاندا محتوای کم و تکراری را به عنوان عوامل رتبه بندی منفی در نظر می گیرد.
بنابراین، رفع این مشکلات به جلوگیری از مشکلات ضعیف 404 و پاندا کمک می کند.

خطاهای 404 دو دلیل اصلی دارند:

• خطا در لینک، هدایت کاربران به صفحه‌ای که وجود ندارد.
• لینک به صفحه ای می رود که قبلا وجود داشته و ناگهان ناپدید شده است.

خطای لینک

اگر علت 404 یک خطای لینک است، فقط باید لینک ها را اصلاح کنید.
بخش دشوار این کار، یافتن تمام لینک های شکسته در یک سایت است.
این می تواند برای سایت های بزرگ و پیچیده ای که هزاران یا میلیون ها صفحه دارند چالش برانگیزتر باشد. در مواردی مانند این حالت، ابزارهای خزنده مفید هستند. می توانید از نرم افزارهایی مانند Xenu، DeepCrawl، Screaming Frog یا Botify استفاده کنید.

صفحه ای که دیگر وجود ندارد

وقتی صفحه ای دیگر وجود ندارد، دو گزینه پیش رو دارید:

• اگر صفحه به طور تصادفی حذف شده باشد، آن را بازیابی کنید.
• اگر عمدا حذف شده باشد، 301 آن را به نزدیکترین صفحه مرتبط هدایت می کند.

ابتدا باید تمامی خطاهای لینک دهی در سایت را پیدا کنید. مشابه یافتن تمام خطاها در لینک دهی برای یک وب سایت در مقیاس بزرگ، می توانید از ابزارهای خزیدن استفاده کنید. با این حال، ابزارهای خزنده ممکن است صفحات بی نام و نشان را پیدا نکنند، این صفحات صفحاتی هستند که از هیچ نقطه ای در لینک های ناوبری یا از هیچ یک از صفحات، لینک داده نشده باشند.
صفحات بی نام و نشان اگر قبلا بخشی از وب سایت بودند می توانند وجود داشته باشند و پس از طراحی مجدد وب سایت، لینکی که به این صفحه قدیمی می رفت ناپدید می شود، اما لینکهای خارجی از سایر وب سایت ها ممکن است همچنان به آنها لینک داده شود. برای بررسی مجدد اینکه آیا این نوع صفحات در سایت شما وجود دارد یا خیر، می توانید از ابزارهای مختلفی استفاده کنید.

کنسول جستجوی گوگل

کنسول جستجو گوگل صفحه 404 را گزارش می دهد زیرا خزنده آن از تمام صفحاتی که می تواند پیدا کند عبور می نماید. این می تواند شامل لینکهایی از سایت های دیگر باشد که به صفحه ای که قبلاً در وب سایت شما وجود داشت می رود.

تجزیه و تحلیل ترافیک گوگل

به طور پیش فرض هرگز نمی توانید گزارش صفحات از دسترس خارج شده را در Google Analytics پیدا کنید با این حال، می توانید آنها را به روش های مختلفی ردیابی نمایید.
برای نمونه، می توانید یک گزارش سفارشی ایجاد کنید و صفحاتی را که عنوان صفحه دارند با ذکر خطای 404 مبنی بر یافت نشدن صفحه ، تقسیم بندی کنید.
روش دیگر برای یافتن صفحات بی نام و نشان در گوگل آنالیتیکس، ایجاد گروه بندی محتوای سفارشی و اختصاص دادن تمام صفحات 404 به یک گروه محتوا است.

جستجوی site:example.com

جستجوی «site:example.com» در گوگل، تمام صفحات example.com که توسط گوگل نمایه شده اند را فهرست می کند. از این رو می توانید به صورت جداگانه بررسی کنید که آیا صفحات در حال بارگیری هستند یا اینکه آنها خطای 404 می دهند.
برای انجام این کار، من از WebCEO استفاده می کنم، زیرا نتایج را علاوه بر Google، در Bing، Yahoo، Yandex، Naver، Baidu و Seznam نمایش می دهد.
از آنجایی که همه موتورهای جستجو تنها یک زیرمجموعه به شما می دهند، اجرای آن در چندین موتور جستجو می تواند به ارائه لیست بزرگتری از صفحات سایت شما کمک کند. این لیست را می توان تبدیل کرد و روی ابزارهایی برای چک انبوه 404 اجرا نمود. به سادگی می توان این کار را با اضافه کردن همه URL ها به عنوان لینک در یک فایل HTML و بارگذاری آن در Xenu برای بررسی گسترده خطاهای 404 انجام داد.

سایر ابزارهای جستجوی بک لینک (Backlink)

ابزارهای تحقیق بک لینک مانند Majestic، Ahrefs، Moz Open Site Explorer، Sistrix، LinkResearchTools و CognitiveSEO نیز می توانند کمک کنند.
اکثر این ابزارها لیستی از بک لینک های مرتبط با دامنه شما را صادر می کنند. زیرا می توانید تمام صفحاتی که به آنها لینک شده اند را بررسی کرده و به دنبال خطاهای 404 بگردید.

نحوه رفع خطاهای soft 404

ابزارهای خزنده هرگز یک soft 404 را شناسایی نمی‌کنند زیرا در واقع خطای 404 نیست. اما می توانید از این ابزارها برای تشخیص چیز دیگری استفاده کنید. در اینجا چند مورد برای یافتن وجود دارد:

• محتوای ضعیف: برخی از ابزارهای خزنده نه تنها صفحاتی را که محتوای ضعیفی دارند گزارش می دهند، بلکه تعداد کل کلمات را نیز نشان می دهند. از آنجا نیز، می توانید URL ها را بر اساس تعداد کلمات محتوای خود مرتب کنید. کار را با صفحاتی شروع کنید که کمترین تعداد کلمات را دارند و ارزیابی کنید که آیا صفحه دارای محتوای ضعیفی است یا خیر.
• محتوای تکراری: برخی از ابزارهای خزنده به اندازه کافی پیچیده هستند تا تشخیص دهند که چند درصد از صفحه محتوای قالب است. اگر محتوای اصلی تقریباً مشابه بسیاری از صفحات دیگر است، باید به این صفحات نگاه کنید و مشخص کنید که چرا محتوای تکراری در سایت شما وجود دارد.

جدا از ابزارهای خزنده، می توانید از کنسول جستجوی گوگل نیز استفاده کنید و خطاهای خزش را بررسی کنید تا صفحاتی را که در زیر soft 404 ها فهرست شده اند، بیابید.
خزیدن کل سایت برای یافتن مشکلاتی که باعث soft 404 می شود به شما این امکان را می دهد قبل از اینکه گوگل آنها را شناسایی کند، آنها را پیدا کرده و تصحیح نمایید.
پس از شناسایی این مشکلات soft 404، باید آنها را اصلاح کنید.
اغلب اوقات، راه حل ها به نظر عاقلانه هستند. این می تواند شامل موارد ساده ای مانند گسترش صفحات با محتوای کم یا جایگزینی محتوای تکراری با موارد جدید و منحصر به فرد باشد.
در طول این فرآیند، در اینجا چند نکته وجود دارد که باید در نظر گرفته شود:

• یکپارچه سازی صفحات: گاهی اوقات محتوای ضعیف به دلیل خاص بودن بیش از حد در موضوع صفحه ایجاد می شود که می تواند چیزی برای گفتن برای شما باقی بگذارد. ادغام چندین صفحه ضعیف در یک صفحه در صورت مرتبط بودن موضوعات می تواند کار مناسب تری باشد. این نه تنها مشکلات محتوای ضعیف را حل می کند، بلکه می تواند مشکلات محتوای تکراری را نیز برطرف نماید. به عنوان مثال، یک سایت تجارت الکترونیکی که فروشنده کفش‌هایی در رنگ‌ها و اندازه‌های مختلف است، ممکن است URL متفاوتی برای هر اندازه و ترکیب رنگ داشته باشند. این باعث می شود تعداد زیادی از صفحات با محتوای ضعیف و نسبتاً یکسان باقی بماند. روش مؤثرتر این است که همه اینها را در یک صفحه قرار دهید و گزینه های موجود را برشمارید.
• مشکلات فنی که باعث ایجاد محتوای تکراری می شود را بیابید: حتی با استفاده از ساده ترین ابزارهای خزنده ی وب مانند Xenu (که به محتوا نگاه نمی کند بلکه فقط URL ها، کدهای پاسخ و برچسب های عنوان را بررسی می کند)، می توانید با مشاهده URL ها مشکلات محتوای تکراری را پیدا نمایید. این شامل مواردی مانند نشانی‌های اینترنتی www در مقابل غیرwww، http و https، با index.html، با پارامترهای ردیابی و بدون آن، و غیره است. خلاصه ی مفیدی از این مشکلات محتوای تکراری رایج که در الگوهای URLها یافت می‌شوند را در مقاله دیگری منتشر خواهیم کرد.

Google با خطاهای 404 و خطاهای soft 404 به یک روش برخورد می کند

soft 404 خطای 404 واقعی نیست، اما اگر این صفحات به سرعت رفع نشوند، گوگل آن صفحات را از نمایه خارج می‌کند. بهتر است به طور منظم سایت خود را بررسی کنید تا ببینید آیا خطاهای 404 یا soft 404 رخ می دهد یا خیر. ابزارهای خزنده باید جزء اصلی محتوای seo شما باشند.