پنجره
اخبار یادداشت‌های متخصصین
روایتی از توقف Crawl و سوختن سرمایه‌ها

در قطعی اینترنت، الگوریتم گوگل علیه حافظهٔ سئویی سایت‌های ایرانی عمل کرد

به قلم سمانه خسروی، مدیر سئو پلتفرم یوتراوز
تحریریه دی‌ام‌برد
بهمن ۱, ۱۴۰۴
زمان مطالعه: 8 دقیقه
در قطعی اینترنت، الگوریتم گوگل علیه حافظهٔ سئویی سایت‌های ایرانی عمل کرد

اختلال اخیر اینترنت در ایران، نتایج گوگل را برای سایت‌های ایرانی دچار یک شوک دسترس‌پذیری کرد؛ شوکی که در آن، پایداری زیرساخت موقتاً جای کیفیت و سابقه سئو را گرفت و بازدهی بخش بزرگی از سرمایه‌گذاری‌های ارگانیک را متوقف کرد. سمانه خسروی، مدیر سئو پلتفرم یوتراوز در یادداشتی برای دی‌ام برد به تحلیل این موضوع پرداخته است که در ادامه خواهید خواند:

در بازه‌ اخیر که ارتباط اینترنت ایران مختل شد، آنچه در نتایج گوگل مشاهده شد نوسانی معمولی نبود؛ عملا با یک شوک دسترس‌پذیری در مقیاس ملی مواجه بودیم! از منظر موتور جست‌وجو، مسئله به‌سادگی این است: وقتی خزنده و کاربران نتوانند یک سایت قابل اعتماد را باز کنند، گوگل مجبور است برای حفظ کیفیت تجربه کاربر، وزن بیشتری به منابعی بدهد که قابل دسترس‌تر و پایدارتر هستند. همین منطق ساده، می‌تواند در مدت کوتاه سرپ را به‌طور محسوسی جابه‌جا کند.

در قطعی اینترنت، الگوریتم گوگل علیه حافظهٔ سئویی سایت‌های ایرانی عمل کرد 1

این جنس بحران‌ها برای تیم‌های سئو از آن تجربه‌های فرساینده است. در چنین شرایطی بخش قابل توجهی از تلاش‌های سئو حتی اگر از نظر کیفی درست و حرفه‌ای انجام شده باشد در کوتاه‌مدت به بازدهی نزدیک صفر می‌رسد؛  این افت به دلیل اشتباه بودن کار های سئو نیست و در این موقعیت سئو از بازی کیفیت و رقابت به بازی تاب‌آوری زیرساخت تبدیل می‌شود.

نتایج گوگل چطور تغییر کرد؟

در قطع ارتباط بین‌الملل، چند سازوکار هم‌زمان فعال می‌شود:

  1. کاهش یا توقف Crawl موثر اولین بازخورد گوگل است.

Googlebot  و سیستم رندرینگ گوگل، برای فچ HTML و منابع صفحه شامل JS، CSS، IMG  و گاهی  APIها با  Timeoutمواجه می‌شوند. نتیجه طبیعی این است که نرخ Crawl پایین می‌آید و بروزرسانی ایندکس کند می‌شود.

  1. سیگنال دسترس‌پذیری و قابلیت سرویس‌دهی وارد تصمیم رتبه‌بندی می‌شود.

در بحران دسترسی، گوگل تمایل دارد نتایجی را نشان دهد که احتمال باز شدنشان برای کاربر بیشتر است. به همین دلیل، دامنه های پایدار و قابل دسترس، می‌توانند جایگاه بگیرند، حتی اگر از نظر محتوا و UX ضعیف‌تر باشند.

  1. SERP نوسانی می‌شود چون موتور بین داده‌های قدیمی و وضعیت جدید گیر می‌کند.
    گوگل ممکن است روی برخی کوئری‌ها همچنان به آخرین نسخه‌های crawl شده و تکیه کند، اما وقتی خطای فچ ادامه‌دار باشد، به مرور جایگزینی نتایج رخ می‌دهد.

آسیب‌های سئویی فقط افت رتبه نیست!

از ایندکس خارج شدن صفحات سایت به علت قطع اینترنت

از ایندکس خارج شدن صفحات سایت به علت قطع اینترنت

اگر بخواهیم دقیق‌تر نگاه کنیم، این رخداد معمولا چند نوع آسیب همزمان می‌سازد که بعد از اتصال هم ادامه خواهند داشت:
اول، چرخه Crawl-Index-Refresh ضربه می‌خورد- Crawl budget مؤثر کاهش پیدا می‌کند، صفحات جدید دیرتر ایندکس می‌شوند و صفحات قدیمی دیرتر رفرش می‌شوند.

دوم، سیگنال‌های اعتماد و پایداری تحت فشار قرار می‌گیرند. وقتی یک URL چند بار غیرقابل دسترس باشد، موتور جست‌وجو معمولا حافظه‌کارتر می‌شود: دفعات مراجعه را کم می‌کند، حساسیتش به خطا بالا می‌رود و روند بازیابی به شکل سیستماتیک کندتر می‌شود.

سوم، آسیب رفتاری و تجاری رخ می‌دهد. وقتی دسترسی مختل است، کلیک و CTR افت می‌کند و داده‌های رفتاری هم از دست می‌رود؛ یعنی کاربر وارد نمی‌شود، تعامل ثبت نمی‌شود و چرخه‌ی یادگیری الگوریتمی تغذیه نمی‌شود. این بخش معمولا در گزارش‌های سطح بالا دیده نمی‌شود، اما از نظر اثر بلندمدت مهم است.

و در نهایت، یک ریسک جدی که خیلی‌ها از آن غافل می‌شوند: ارسال سیگنال اشتباه به گوگل.
اگر سایت در زمان اختلال به جای رفتار کنترل‌شده، شروع کند به تولید 404 یا 200 با محتوای ناقص ، یا ریدایرکت‌های نامعتبر، فرآیند ریکاوری بعد از اتصال پایدار هم کندتر و پرهزینه‌تر می‌شود؛ چون موتور جست‌وجو دیگر صرفا با قطعی، طرف نیست با رفتارهای ناپایدار و متناقض هم مواجه می‌شود.

چه اتفاقی افتاد و نتایج گوگل چطور تغییر کرد؟

Not available due to a site-wide issue

Not available due to a site-wide issue

وقتی اینترنت بین‌الملل نتواند به داخل ایران وصل شود، دو اتفاق هم‌زمان رخ می‌دهد:

گوگل سایت را نمی‌بیند و نمی‌تواند بخزد (Crawl) و رندر کند.

  • دسترسی Googlebot به صفحات و منابع  HTML، JS ، CSS، Images وAPI  با خطاهایی مثل Timeout و5XX   مواجه می‌شود.
  • در نتیجه گوگل نرخ Crawl را کاهش می‌دهد.

گوگل برای پاسخ‌دادن به کاربر، نتایج جایگزین در دسترس را بالا می‌آورد!

  • وقتی چند سایت ایرانی هم‌زمان از دسترس خارج می‌شوند، SERP به‌صورت طبیعی به سمت دامنه‌های پایدارتر (خارج از ایران یا زیرساخت پایدارتر) متمایل می‌شود.
  • این جابه‌جایی باعث می‌شود حتی کوئری‌هایی که قبلا پایدار بودند، یک‌باره تغییرات شدید نشان دهند.

صفر شدن بازدهی هزینه‌های سئویی!

هزینه‌ی سئو فقط تولید محتوا نیست؛ مجموعه‌ای از سرمایه‌گذاری‌های زمان‌بر و انباشتی است: تولید و بهبود محتوا، لینک‌سازی، تلاش‌های فنی، تغییرات محصول و حفظ تاریخچه‌ای که سال‌ها برایش زمان گذاشته شده. این هزینه‌ها زمانی تبدیل به ارزش می‌شود که دو شرط برقرار باشد: موتور جست‌وجو بتواند صفحات را Crawl/Index/Render کند و کاربران بتوانند وارد سایت شوند، تعامل کنند و تبدیل رخ دهد.

در قطعی اینترنت، الگوریتم گوگل علیه حافظهٔ سئویی سایت‌های ایرانی عمل کرد 2

وقتی کانال دسترسی قطع است، انتشار محتوا یا حتی بهینه‌سازی‌ها ممکن است انجام شود، اما تحقق ارزشImpression، Click، Lead،Saleمختل می‌شود. در عمل، هر فعالیتی که به دیده شدن در گوگل وابسته است، در این مدت کم‌اثر یا بلااستفاده می‌شود. از منظر کسب‌وکاری، ترافیک از دست رفته فقط یک عدد نیست؛ یعنی چند روز فروش و لید بالقوه‌ای که برایش سال‌ها تلاش شده، از دست می‌رود. در همین مدت، هزینه ثابت تیم و هزینه‌های تولید، رپورتاژ، تکنیکال پابرجاست، CAC بالا می‌رود چون سهم ارگانیک افت می‌کند و اگر هم‌زمان کانال‌های پولی هم محدود شده باشند، کل ورودی افت می‌کند و هزینه فرصت بزرگ‌تر می‌شود.

از دست دادن ترافیک و کم شدن حجم بازار

این بخش خیلی مهم است: در قطعی اینترنت، فقط سایت ما آسیب نمی‌بیند؛ بازار کوچک‌تر می‌شود.

چرا بازار کوچک می‌شود؟

  • بخشی از کاربران اصلا به اینترنت بین‌الملل و سرویس‌ها دسترسی ندارند یا تجربه‌شان خراب می‌شود.
  • جست‌وجوها کمتر می‌شود، چون تصمیم خرید به تعویق می‌افتد.
  • حتی کاربرانی که سرچ می‌کنند، ممکن است به گزینه‌های محدودتر و قابل‌دسترستر بسنده کنند.

حتی اگر رتبه‌ها برگردند، ممکن است در کوتاه‌مدت با کاهش Demand روبه‌رو باشیم و برگشت درآمدی به اندازه قبل نباشد تا بازار دوباره گرم شود.

بعد از برگشت اینترنت، چقدر طول می‌کشد نتایج تثبیت شوند؟

زمان دقیق قابل تضمین نیست، اما الگوی رایج این است:

  • هفته اول: بازگشت Crawl و کاهش نوسان‌های خیلی شدید (اگر دسترسی پایدار باشد!)
  • چند روز یا چند هفته بعد: برگشت بخش مهمی از کوئری‌های اصلیو URLهای پول‌ساز
  • و بعد: تثبیت کامل‌تر برای لانگ‌تیل‌ها و صفحاتی که کمتر Crawl می‌شوند (به‌خصوص سایت‌های بزرگ)

اقدام‌های پیشنهادی برای ریکاوری سریع‌تر

پس از اتصال پایدار

در اولین قدم پس از اتصال پایدار، باید مطمئن شویم Googlebot واقعا 200 می‌گیرد و مسیر واکشی و رندر درست کار می‌کند؛ این یعنی بررسی Crawl Stats، لاگ سرور و تست چند URL کلیدی با Live URL Inspection. هم‌زمان باید خطاهای 5xx-Timeout را مانیتور کرد و پاسخ سرور را پایدار کرد. سپس، submit مجدد sitemap و اطمینان از lastmod واقعی می‌تواند به تسریع گردش crawl کمک کند.

هفته اول

تمرکز روی Top Landing Pages  درآمدی + صفحات پرترافیک

چک Indexing Status: افت در Indexed pages یا افزایش “Crawled – currently not indexed”

جلوگیری از هر تغییر بزرگ هم‌زمان ساختار URL، ریدایرکت گسترده، تغییر SSRو CSR

هفته دوم تا چهارم

در هفته دوم تا چهارم، بازیابی سهم صدا معمولا با تقویت داخلی آپدیت محدود اما باکیفیت روی صفحات کلیدی، و بهبود CTR از طریق Title-Meta دقیق و مبتنی بر SERP جلو می‌رود. در همین مرحله باید SERP و رقبا رصد شوند تا مشخص شود چه کسی جای ما را گرفته و با چه نوع صفحه‌ای.

توصیه‌های تکنیکال

  • برای اختلال موقت، مدیریت صحیح Status Code (به‌خصوص  503) مطابق توصیه‌های گوگل، جهت جلوگیری از ارسال سیگنال نادرست به خزنده‌ها.
  • طراحی حالت بحران برای صفحات کلیدی: Degrade gracefully نمایش محتوای حداقلی استاتیک + پیام وضعیت، بدون وابستگی سخت به API) تا  5xxتولید نشود. (این همان نقطه‌ای است که Mirror صرف به تنهایی شکست می‌خورد.
  • اگر از CDN استفاده می‌شود، واقع‌بینانه باید پذیرفت که کش اضطراری جایگزین کامل سایت داینامیک نیست؛ اما می‌تواند این سقوط آزاد را کمی مدیریت کرد.

نسخه روی سرور خارج؛ پیشگیری از سقوط کامل!

برخی کسب‌وکارها برای کاهش ریسک، نسخه‌ای از سایت را روی سرور خارج از ایران یا پشت CDN یا Edge بین‌المللی نگه می‌دارند. مزیت این تصمیم در بحران دسترسی روشن است: خزنده‌ها و کاربران جهانی می‌توانند حداقل صفحات حیاتی را واکشی کنند و افت از حالت سقوط کامل جلوگیری کرد. در نتیجه، شانس حفظ سهم نمایش و جایگاه در کوئری‌های اصلی افزایش می‌یابد. این تصمیم یک واقعیت را یادآوری می‌کند: در اینترنت ناپایدار، سئو فقط محتوا و لینک نیست؛ معماری دسترسی هم بخشی از سئو است.

اما چرا بعضی‌ها با وجود نسخه خارج باز هم ۵۰۰ گرفتند؟

تجربه: دام رایج اینجاست که داشتن نسخه خارج الزاما به معنی تاب‌آوری واقعی نیست. اگر مدل SSR یا Rendering برای تولید HTML نهایی به APIهای داخل کشور وابسته باشد (موجودی، قیمت، CMS، احراز هویت و…)، با قطع ارتباط بین‌الملل، SSR نمی‌تواند داده را دریافت کند، رندر سمت سرور fail می‌شود و خروجی به جای HTML قابل ایندکس، تبدیل به 500 یا صفحه ناقص می‌شود. در چنین معماری‌ای، انتقال ظاهر سایت به خارج بدون فکر به وابستگی داده، فقط جابه‌جایی بحران است، نه حل بحران.

به اشتراک بگذارید:
تحریریه دی‌ام‌برد
نظرات

در حال بارگیری کپچا...

سمانه خسروی

علیرضا عزیز عمیقا میفهمم که چقدر این شرایط گیج کننده و ناراحت کننده اس..
بردن سایتت روی آلمان مشکل دسترسی بات های گوگل رو حل میکنه ولی کاربرا بدون vpn از داخل به سایتت دسترسی ندارن
این تصمیم یک مقدار بیزینسی هست. اینکه سیو کدوم ساید تو بازه قطعی(که امیدوارم دیگه پیش نیاد!) برات مهم تره
البته که سایت‌هایی که نسخه خارج داشتن، هم برای Googlebot در دسترس‌تر بودن، هم برای بخشی از کاربران دارای دسترسی.
و نکته دوم اینه که آیا رقبات درگیر این موضوع هستن یا نه
چون چیزی که الان داریم میبینیم سایتایی که خوب کار کردن دارن کم کم به جایگاه های قبلیشون بر میگردن هرچند میزان قابل توجهی از ترافیک رو از دست دادن..

کلام آخرم هم اینه که اماده بودن برای این شرایط متاسفانه از واجبات دوره فعلیه و بهتره روی استفاده حتی کوتاه مدت از CDN و هاست خارجی مشورت بگیرید.

اگه نیاز به راهنمایی بیشتر داشتی لینکدین بهم پیام بده🌱

علیرضا

درود بر شما
سئوی سایت ما که فروشگاه اینترنتی بود و ۴ سال روش کار کرده بودیم و اکثر ورودی هاش ارگانیک بودن و هاستش روی لیمو هاست بود و سرورش در ایران بود سقوط کرده
به نظرتون سایت رو ببریم رو هاست آلمان به تنهایی کمک میکنه ؟ چون فعلا امکان استفاده از دو سرور و پیاده سازی تکنولوژی موازی رو نداریم …

آسان‌پرداخت