مسیرهای ممنوع به صورت خودکار بر اساس نوع وبسایت تعیین میشود
اجازه دسترسی کامل به تمام AI ها برای سایت شما
برای تست اینکه آیا این URL توسط رباتها قابل دسترسی است
در نظر گیری دسترسی AI ها در تست
