آموزش Screaming Frog؛ از اولین Crawl تا تحلیل مشکلات فنی

اگر می‌خواهید مشکلات فنی یک سایت را به‌صورت اصولی بررسی کنید، Screaming Frog SEO Spider یکی از ابزارهایی است که می‌تواند در این مسیر به شما کمک کند. این نرم‌افزار صفحات سایت را Crawl می‌کند، اطلاعاتی مانند کدهای وضعیت HTTP، عنوان صفحات، لینک‌ها و Canonicalها را جمع‌آوری می‌کند و امکان بررسی متمرکز مشکلات احتمالی را فراهم می‌سازد.

در این راهنما یاد می‌گیرید چگونه اولین Crawl را اجرا کنید، گزارش‌های مهم را بخوانید و یافته‌ها را به اقدامات اصلاحی تبدیل کنید. هدف، صرفاً پیدا کردن هشدارها نیست؛ بلکه تشخیص مواردی است که واقعاً به بررسی یا اصلاح نیاز دارند.

اگر هنوز با مفاهیم پایه سئو آشنا نیستید، یادگیری آموزش سئو از صفر می‌تواند در درک بهتر گزارش‌های Screaming Frog به شما کمک کند.

Screaming Frog چیست و چه کاربردی دارد؟

Screaming Frog SEO Spider یک خزنده وب است که لینک‌های صفحات را دنبال می‌کند و اطلاعات فنی و محتوایی URLهای کشف‌شده را جمع‌آوری می‌کند. از آن می‌توان برای بررسی لینک‌های شکسته، ریدایرکت‌ها، عنوان صفحات، توضیحات متا، Canonical و ساختار لینک‌سازی داخلی استفاده کرد.

برای درک بهتر، این اصطلاحات را بشناسید:

- Crawl: فرایند بررسی صفحات و دنبال کردن لینک‌های آن‌ها توسط خزنده.
- Crawler: نرم‌افزاری که صفحات و لینک‌های سایت را بررسی می‌کند.
- HTTP Status Code: کدی که وضعیت پاسخ سرور به درخواست یک URL را نشان می‌دهد.
- Indexability: قابلیت فنی یک صفحه برای ایندکس شدن؛ به معنی تضمین ایندکس واقعی نیست.
- Canonical: سیگنالی برای معرفی نسخه ترجیحی یک صفحه در میان URLهای مشابه یا تکراری.
- Redirect: انتقال درخواست یک URL به آدرس دیگری.
- Internal Link: لینکی که کاربر یا خزنده را از یک صفحه به صفحه دیگری در همان سایت هدایت می‌کند.

Crawl با ایندکس تفاوت دارد. Screaming Frog می‌تواند اطلاعاتی را که هنگام بررسی صفحات به دست می‌آورد تحلیل کند، اما به‌تنهایی مشخص نمی‌کند گوگل در نهایت کدام صفحات را ایندکس کرده است. برای این کار باید از Google Search Console و ابزارهای مرتبط نیز کمک بگیرید.

نسخه رایگان و پولی چه تفاوتی دارند؟

نسخه رایگان برای شروع و بررسی سایت‌های کوچک مناسب است و تا ۵۰۰ URL را در هر Crawl بررسی می‌کند. امکاناتی مانند تنظیمات پیشرفته، ذخیره و بازکردن Crawl و برخی قابلیت‌های پیشرفته در نسخه دارای مجوز در دسترس هستند.

اگر قصد دارید سایت بزرگی را بررسی کنید یا Crawlهای مختلف را با یکدیگر مقایسه کنید، نسخه دارای مجوز می‌تواند مناسب‌تر باشد. پیش از خرید، فهرست امکانات و قیمت روز را در وب‌سایت رسمی نرم‌افزار بررسی کنید.

چگونه اولین Crawl را اجرا کنیم؟

مرحله اول: آماده‌سازی و انتخاب سایت

نرم‌افزار را از وب‌سایت رسمی Screaming Frog دریافت کنید.
سایتی را انتخاب کنید که اجازه بررسی آن را دارید. اگر سایت متعلق به خودتان است، پیش از شروع مطمئن شوید اجرای Crawl با محدودیت‌های سرور و سیاست‌های دسترسی آن سازگار است.

مرحله دوم: وارد کردن URL

نرم‌افزار را باز کنید و آدرس کامل سایت، شامل پروتکل مناسب مانند "https://"، را در کادر ورود URL قرار دهید.
چرا مهم است؟ نقطه شروع Crawl روی صفحاتی که کشف می‌شوند و محدوده بررسی تأثیر می‌گذارد.
چه چیزی را بررسی کنیم؟ مطمئن شوید نسخه صحیح دامنه را وارد کرده‌اید و سایت به آدرس موردنظر پاسخ می‌دهد.

مرحله سوم: شروع Crawl

در حالت پیش‌فرض Spider، روی Start کلیک کنید. نرم‌افزار شروع به درخواست صفحات و کشف لینک‌ها می‌کند.

در نخستین بررسی، تنظیمات پیش‌فرض معمولاً نقطه شروع مناسبی هستند. اگر هدف شما بررسی صفحات وابسته به JavaScript، بخش خاصی از سایت یا URLهای مشخصی است، ممکن است به تنظیمات متفاوت نیاز داشته باشید.
چه چیزی را دنبال کنیم؟ تعداد URLهای بررسی‌شده، پیشرفت عملیات و خطاهای احتمالی اتصال را زیر نظر بگیرید.

مرحله چهارم: بررسی نتایج کلی

پس از اتمام Crawl، تب‌های مختلف نرم‌افزار را بررسی کنید. تب Internal اطلاعات صفحات داخلی را نمایش می‌دهد؛ از جمله Address، Status Code، Indexability و عنوان صفحه.
برای ذخیره یا خروجی گرفتن از داده‌ها، از گزینه‌های Export مرتبط با گزارش یا تب موردنظر استفاده کنید. قابلیت ذخیره و بازکردن پروژه کامل Crawl به نوع مجوز وابسته است.

چگونه گزارش‌های مهم را تحلیل کنیم؟

۱. بررسی کدهای وضعیت HTTP و لینک‌های شکسته

کدهای مهم را بشناسید:

همه پاسخ‌های غیر از 200 خطا نیستند. برای مثال، یک URL که به‌درستی به صفحه جدید منتقل شده، می‌تواند پاسخ 301 داشته باشد.

برای پیدا کردن لینک‌های شکسته، تب یا فیلتر Status Codes را بررسی کنید و URLهایی را که پاسخ ناموفق دارند جدا کنید. سپس صفحه منبع را پیدا کنید تا مشخص شود کدام لینک به مقصد مشکل‌دار اشاره می‌کند.
اگر صفحه مقصد حذف شده است، بسته به شرایط باید لینک را حذف یا جایگزین کنید. اگر صفحه منتقل شده، اصلاح لینک داخلی به مقصد نهایی می‌تواند تجربه کاربر و مسیر دسترسی خزنده را بهتر کند.

۲. تحلیل ریدایرکت‌ها

ریدایرکت همیشه مشکل نیست؛ گاهی برای انتقال صفحه یا یکپارچه‌سازی نسخه‌های دامنه ضروری است.

مسیر انتقال و مقصد نهایی را بررسی کنید. اگر یک URL از چند آدرس واسطه عبور می‌کند، زنجیره ریدایرکت شکل گرفته است. در صورت امکان، لینک‌های داخلی را مستقیماً به مقصد نهایی متصل کنید.
اگر انتقال به آدرس اولیه برگردد و حلقه ایجاد شود، باید تنظیمات انتقال بررسی شود. پیش از اصلاح، مطمئن شوید مقصد نهایی صحیح است و ریدایرکت موقت یا دائمی با هدف صفحه تناسب دارد.

۳. بررسی عنوان صفحات و توضیحات متا

در تب Page Titles مواردی مانند عنوان خالی، تکراری یا طول نامناسب را بررسی کنید. در تب Meta Description نیز می‌توانید توضیحات متای خالی یا تکراری را شناسایی کنید.
خالی بودن یک عنوان یا تکراری بودن توضیحات متا به‌تنهایی اثبات نمی‌کند که صفحه رتبه خود را از دست داده است. ابتدا اهمیت صفحه، محتوای آن و هدف جست‌وجویی که پاسخ می‌دهد را بررسی کنید.
برای صفحات مهم، عنوان و توضیحات را متناسب با محتوای واقعی صفحه و نیاز کاربر اصلاح کنید. از تولید متن‌های تقریباً یکسان برای تعداد زیادی صفحه خودداری کنید.

۴. بررسی Canonical و Indexability

در اطلاعات مربوط به Canonical و Indexability بررسی کنید که آیا صفحه قابل ایندکس تشخیص داده شده و آیا نسخه ترجیحی دیگری برای آن مشخص شده است.
اگر صفحه مهمی به URL دیگری Canonical شده، این موضوع را بررسی کنید:

- آیا دو صفحه واقعاً مشابه‌اند؟
- آیا Canonical به نسخه صحیح اشاره می‌کند؟
- آیا ریدایرکت، لینک‌های داخلی و سایر سیگنال‌ها با این انتخاب سازگارند؟

Canonical صرفاً یک سیگنال است و گوگل می‌تواند نسخه دیگری را انتخاب کند. همچنین گزارش Crawl جایگزین گزارش ایندکس گوگل نیست. برای بررسی وضعیت واقعی، از گزارش Page Indexing و ابزار URL Inspection در Google Search Console استفاده کنید.

۵. بررسی لینک‌سازی داخلی و عمق صفحات

در تب Internal و ستون‌های مرتبط با لینک‌ها و Crawl Depth، مسیر دسترسی به صفحات را بررسی کنید.

صفحه‌ای که لینک داخلی کمی دریافت می‌کند، ممکن است کمتر در ساختار سایت دیده شود؛ اما این موضوع به‌تنهایی مشکل قطعی نیست. اهمیت صفحه، جایگاه آن در معماری سایت و نیاز کاربران را نیز در نظر بگیرید.
اگر صفحه مهمی از مسیرهای معمول به‌سختی قابل دسترسی است، لینک‌های داخلی مرتبط و طبیعی ایجاد کنید. برای کشف صفحات یتیم، در صورت نیاز منابعی مانند XML Sitemap و فهرست URLهای Google Analytics یا Search Console را نیز با داده‌های Crawl مقایسه کنید؛ صرف Crawl معمولی ممکن است همه URLهای یتیم را کشف نکند.

بررسی مسیرهای دسترسی کاربران و خزنده‌ها، بخشی از ارزیابی ساختار سایت است. این موضوع با اصول طراحی و معماری صفحات ارتباط دارد و می‌تواند به مباحث مرتبط در دپارتمان طراحی سایت پیوند داده شود.

شناسایی مشکلات فنی، زمانی ارزشمند است که بتوانید نتایج را تفسیر کنید و برای اصلاح آن‌ها تصمیم بگیرید. برای آشنایی بیشتر با مباحث تخصصی، می‌توانید محتوای مرتبط با آموزش سئو پیشرفته را نیز بررسی کنید.

چگونه مشکلات فنی را اولویت‌بندی کنیم؟

پس از بررسی گزارش‌ها، یافته‌ها را به یک فهرست اقدام تبدیل کنید. برای تعیین اولویت، اهمیت صفحه، گستردگی مشکل، اثر احتمالی آن بر کاربران و خزنده‌ها، هزینه اصلاح و میزان اطمینان به تشخیص را در نظر بگیرید.

این جدول یک چارچوب تصمیم‌گیری است، نه رتبه‌بندی قطعی. برای مثال، خطایی که روی یک صفحه بسیار مهم رخ می‌دهد ممکن است از چندین هشدار کم‌اهمیت در صفحات فرعی اولویت بیشتری داشته باشد.

مثال فرضی از تحلیل یک Crawl

فرض کنید در یک Crawl آموزشی چهار یافته زیر مشاهده شده‌اند. این موارد داده واقعی نرم‌افزار نیستند.

یافته اول: یک لینک داخلی به صفحه ناموجود

- گزارش: Status Codes و بررسی لینک‌های منبع.
- بررسی تکمیلی: آیا صفحه حذف شده یا URL اشتباه تایپ شده است؟
- نتیجه: وجود پاسخ 404 به‌تنهایی علت حذف صفحه را مشخص نمی‌کند.
- اقدام: اصلاح URL، جایگزینی لینک یا حذف لینک نامعتبر.
- تأیید: Crawl مجدد و بررسی مقصد.

یافته دوم: یک URL با ریدایرکت

- گزارش: وضعیت HTTP و Redirect Chains.
- بررسی تکمیلی: مقصد نهایی و ضرورت انتقال.
- نتیجه: وجود ریدایرکت الزاماً مشکل نیست.
- اقدام: در صورت وجود زنجیره غیرضروری، اصلاح لینک‌های داخلی.
- تأیید: بررسی مسیر جدید و پاسخ مقصد.

یافته سوم: چند صفحه با عنوان خالی یا تکراری

- گزارش: Page Titles.
- بررسی تکمیلی: نوع صفحه، قالب مشترک و محتوای واقعی.
- نتیجه: تکرار ممکن است ناشی از قالب سایت یا مسئله‌ای جدی‌تر باشد.
- اقدام: اصلاح عنوان صفحات مهم و بررسی الگوی تولید عنوان‌ها.
- تأیید: Crawl مجدد و بررسی عنوان‌های استخراج‌شده.

یافته چهارم: یک صفحه مهم با لینک داخلی کم

- گزارش: Internal و Crawl Depth.
- بررسی تکمیلی: لینک‌های سایت، Sitemap و اهمیت صفحه.
- نتیجه: تعداد کم لینک‌ها به‌تنهایی اثبات نمی‌کند صفحه از ایندکس خارج شده است.
- اقدام: افزودن لینک‌های مرتبط از صفحات مناسب، در صورت نیاز.
- تأیید: بررسی ساختار لینک‌ها در Crawl بعدی.

اشتباهات رایج هنگام استفاده از Screaming Frog

۱. تلقی همه هشدارها به‌عنوان خطا: هر یافته باید در زمینه خودش ارزیابی شود.
۲. نادیده گرفتن محدوده Crawl: ممکن است بخشی از سایت، ساب‌دامین‌ها یا URLهای کشف‌نشده بررسی نشده باشند.
۳. نتیجه‌گیری درباره ایندکس گوگل فقط از روی Crawl: داده‌های خزنده و گزارش‌های Search Console یکسان نیستند.
۴. اصلاح انبوه بدون بررسی: تغییر هم‌زمان عنوان‌ها، Canonicalها یا ریدایرکت‌ها بدون شناخت علت می‌تواند مشکلات جدیدی ایجاد کند.
۵. فراموش کردن بررسی پس از اصلاح: هر تغییر باید در Crawl بعدی یا ابزار مناسب دیگری تأیید شود.

چک‌لیست نهایی ممیزی اولیه

- [ ] محدوده و هدف Crawl مشخص شده است.
- [ ] لینک‌های داخلی نامعتبر بررسی شده‌اند.
- [ ] کدهای وضعیت HTTP و خطاهای سرور بررسی شده‌اند.
- [ ] ریدایرکت‌ها و مقصد نهایی آن‌ها بررسی شده‌اند.
- [ ] عنوان صفحات و توضیحات متا بررسی شده‌اند.
- [ ] Canonical و Indexability صفحات مهم بررسی شده‌اند.
- [ ] ساختار لینک‌سازی داخلی و دسترسی به صفحات مهم بررسی شده است.
- [ ] یافته‌ها بر اساس اهمیت و شواهد اولویت‌بندی شده‌اند.
- [ ] اصلاحات انجام‌شده دوباره بررسی شده‌اند.
- [ ] وضعیت ایندکس صفحات مهم در Search Console بررسی شده است.

سؤالات متداول

Screaming Frog چیست؟

ابزاری برای Crawl سایت و بررسی اطلاعات فنی صفحات، لینک‌ها، ریدایرکت‌ها و برخی مشکلات احتمالی سئو است.

آیا نسخه رایگان برای شروع کافی است؟

برای یادگیری و بررسی اولیه سایت‌های کوچک، معمولاً بله. محدودیت ۵۰۰ URL در هر Crawl و محدودیت برخی قابلیت‌های پیشرفته را در نظر بگیرید.

چگونه لینک‌های شکسته را پیدا کنیم؟

در Crawl سایت، گزارش Status Codes را بررسی کنید، URLهای دارای پاسخ ناموفق را فیلتر کنید و سپس لینک‌های منبع آن‌ها را شناسایی کنید.

آیا Screaming Frog ایندکس واقعی گوگل را نشان می‌دهد؟

خیر، نه به‌تنهایی. برای وضعیت ایندکس و Canonical انتخاب‌شده توسط گوگل، از Google Search Console و ابزار URL Inspection استفاده کنید.

آیا باید همه هشدارها را اصلاح کنیم؟

خیر. ابتدا اهمیت صفحه، علت احتمالی، گستردگی مشکل و شواهد موجود را بررسی کنید و سپس درباره اصلاح تصمیم بگیرید.

جمع‌بندی

Screaming Frog زمانی بیشترین ارزش را دارد که خروجی آن را صرفاً فهرستی از خطاها نبینید. ابتدا Crawl را با محدوده مشخص اجرا کنید، سپس گزارش مناسب را انتخاب کنید، علت احتمالی هر یافته را بررسی کنید و در نهایت اصلاحات را بر اساس اهمیت و شواهد اولویت‌بندی کنید.
برای بررسی دقیق‌تر سئو تکنیکال، داده‌های Crawl را در صورت نیاز با Google Search Console و اطلاعات دیگر سایت ترکیب کنید. این روش به شما کمک می‌کند از مشاهده یک هشدار به یک تصمیم فنی مستدل برسید.