প্রাসঙ্গিক এজেন্টগুলোর হালনাগাদ তালিকা তৈরি করুন
বিভিন্ন প্রদানকারী ইনডেক্সিং, পুনরুদ্ধার, প্রশিক্ষণ-সংশ্লিষ্ট প্রবেশাধিকার বা ব্যবহারকারীর অনুরোধে ব্রাউজিংয়ের জন্য ভিন্ন ক্লায়েন্ট ব্যবহার করতে পারে। বর্তমান প্রদানকারী-ডকুমেন্টেশন দেখে আপনার সাইটের জন্য প্রাসঙ্গিক এজেন্টগুলো শনাক্ত করুন। ইউজার-এজেন্ট স্ট্রিং পরিচয় প্রমাণ করে বা একটি নিয়ম উত্তর-ব্যবস্থায় পৌঁছানোর প্রতিটি পথ নিয়ন্ত্রণ করে—এমনটি ধরে নেবেন না। নীতিমালার রেকর্ডে ডকুমেন্টেশনের লিংক ও পর্যালোচনার তারিখ রাখুন।
- ✓ অ্যাক্সেসের নিয়ম পরিবর্তনের আগে পর্যবেক্ষিত অনুরোধগুলো শ্রেণিবদ্ধ করুন।
- ✓ ত্রুটির হার, সংবেদনশীল পথ এবং অস্বাভাবিক অনুরোধের পরিমাণ পর্যালোচনা করুন।
সঠিক স্তরে নিয়ন্ত্রণ প্রয়োগ করুন
সহযোগিতামূলক ক্রলিংয়ের পছন্দ জানাতে robots নির্দেশনা ব্যবহার করুন এবং প্রবেশাধিকার কার্যকরভাবে নিয়ন্ত্রণ করতে সার্ভার-সাইড নিয়ন্ত্রণ ব্যবহার করুন। প্রমাণীকরণ ব্যক্তিগত কনটেন্ট সুরক্ষিত রাখে; রেট নিয়ন্ত্রণ ও ক্যাশিং সেবার প্রাপ্যতা রক্ষা করে। কোনো এজ রুল অনিচ্ছাকৃতভাবে সার্চ ক্রলার বা সাধারণ দর্শককে ব্লক করছে কি না যাচাই করুন। প্রকাশ্যে থাকা সাইটম্যাপ ও পৃষ্ঠার মেটাডেটা যেন অভিপ্রেত প্রকাশনা-নীতির সঙ্গে সামঞ্জস্যপূর্ণ থাকে।
- ✓ প্রতিনিধিত্বমূলক URL-এ নির্দেশনা ও সার্ভারের প্রতিক্রিয়ার আচরণ পরীক্ষা করুন।
- ✓ পাবলিক ডিসকভারি ফাইল থেকে ব্যক্তিগত এন্ডপয়েন্টগুলো বাদ রাখুন।
পরিমিত নীতি বজায় রাখুন
কী পরিবর্তন হয়েছে, কেন হয়েছে, কে অনুমোদন দিয়েছে এবং প্রভাব কীভাবে যাচাই করা হবে—তা নথিবদ্ধ করুন। অবকাঠামোর আচরণ এবং যথাযথভাবে নির্ধারণযোগ্য রেফারেল-প্রমাণ পর্যবেক্ষণ করুন, তবে অনুরোধকে উদ্ধৃতি বলে ধরে নেবেন না। LLM-কেন্দ্রিক টেক্সট ফাইলের মতো নির্দেশনা পরীক্ষামূলক হতে পারে; এগুলো সাধারণ ক্রলযোগ্যতা, নির্ভুল বিষয়বস্তু বা প্রবেশাধিকার নিয়ন্ত্রণের বিকল্প হওয়া উচিত নয়। সরবরাহকারী ও ব্যবসায়িক চাহিদা বদলালে নীতিমালা পুনর্বিবেচনা করুন।
- ✓ প্রবেশাধিকার-সংক্রান্ত সিদ্ধান্তগুলোকে মার্কেটিং ফলাফল-সংক্রান্ত দাবি থেকে আলাদা করে ট্র্যাক করুন।
- ✓ নতুন চালু করা নিয়মগুলোর জন্য সহজে রোলব্যাকের ব্যবস্থা রাখুন।