مکڑی اور ویب کرالروں کی تعریف

مکڑی اور ویب کرالر: ویب سائٹ کے ڈیٹا کو محفوظ کرنے کے بارے میں جاننے کی کیا ضرورت ہے

مکڑی ایسے پروگرام ہیں (یا خود کار طریقے سے سکرپٹ) جو ویب کے ذریعہ ڈیٹا کی تلاش میں 'کرال' ہیں. مکڑی ویب سائٹ کے یو آر ایل کے ذریعہ سفر کرتے ہیں اور ویب صفحات جیسے ای میل پتے سے ڈیٹا ھیںچ سکتے ہیں. مکڑیوں کو بھی انجن تلاش کرنے کے لئے ویب سائٹس پر موجود معلومات کو کھانا کھلانے کے لئے استعمال کیا جاتا ہے.

مکڑیوں جو بھی 'ویب کرالر' کے طور پر بھی حوالہ دیتے ہیں وہ ویب پر تلاش کرتے ہیں اور ان کے ارادے میں دوستانہ نہیں ہیں.

معلومات جمع کرنے کے لئے اسپیمرز مکڑی ویب سائٹ

گوگل، یاہو!

اور دیگر تلاش کے انجن صرف ویب سائٹس کو چلانے میں دلچسپی رکھنے والے نہیں ہیں - اس طرح سکیمرز اور سپیمرز ہیں.

مکڑیوں اور دیگر خود کار طریقے سے اوزار سپیمرز کے ذریعہ ای میل پتوں کو تلاش کرنے کے لئے استعمال کیے جاتے ہیں (انٹرنیٹ پر یہ عملی طور پر اکثر 'کٹائی' کے طور پر کہا جاتا ہے)) اور پھر سپیم کی فہرست بنانے کے لئے ان کا استعمال کریں.

مکڑی آپ کے ویب سائٹ کے بارے میں مزید معلومات تلاش کرنے کے لئے تلاش کے انجن کی طرف سے استعمال ہونے والی ایک آلہ بھی ہیں لیکن بغیر کسی ویب سائٹ کے بغیر کسی ویب سائٹ کے بغیر ہدایات (یا، 'اجازات') چھوڑ دیا جاتا ہے، آپ کی سائٹ کو کیسے اہم معلومات سیکورٹی کے خطرات پیش کر سکتے ہیں. مکڑیوں کے لنکس مندرجہ ذیل سفر کرتے ہیں، اور وہ ڈیٹا بیس، پروگرام کی فائلوں، اور دوسری معلومات کے لنکس کو تلاش کرنے میں بہت سستی ہیں جس سے آپ ان تک رسائی حاصل نہیں کرسکتے ہیں.

ویب ماسٹر لاگ ان کو دیکھ سکتے ہیں کہ مکڑیوں اور دیگر روبوٹ نے اپنی سائٹس کا دورہ کیا ہے. یہ معلومات ویب ماسٹروں کو جانتی ہے کہ ان کی سائٹ کو کس طرح لگ رہا ہے، اور کتنی بار.

یہ معلومات مفید ہے کیونکہ یہ ویب ماسٹرز کو اپنی SEO کو ٹھیک دھن دینے اور روبوٹ.txt فائلوں کو اپ ڈیٹ کرنے کے لئے مستقبل میں اپنی سائٹ کو چلانے سے مخصوص روبوٹ کو ممنوع کرنے کی اجازت دیتا ہے.

غیر جانبدار روبوٹ کروالرز سے آپ کی ویب سائٹ کی حفاظت پر تجاویز

آپ کی ویب سائٹ سے ناپسندیدہ کرالرڈر رکھنے کے لئے ایک آسان طریقہ ہے. یہاں تک کہ اگر آپ اپنی ویب سائٹ کو گراؤنڈ کرنے والے غیر معمولی مکڑیوں کے بارے میں کوئی تشویش نہیں رکھتے ہیں (اگر آپ کو ای میل ایڈریس کا پتہ لگانا آپ کو زیادہ سے زیادہ کرالروں سے نہیں بچائے گا)، آپ کو اب بھی اہم ہدایات کے ساتھ تلاش کے انجن فراہم کرنا ہوگا.

تمام ویب سائٹس پر ایک روبوٹ.txt فائل نامی جڑ ڈائرکٹری میں واقع ایک فائل ہونا چاہئے. یہ فائل آپ کو ویب کرالروں کو ہدایت دیتا ہے جہاں آپ انڈیکس کے صفحات کو دیکھنا چاہتے ہیں (جب تک کہ کسی خاص صفحے کے میٹا ڈیٹا میں کوئی غیر منسلک نہیں ہونے کی صورت میں) اگر وہ تلاش کے انجن ہیں.

جیسے ہی آپ کرالر چاہتا ہوں کہ آپ ان کو براؤز کرنا چاہتے ہیں، آپ ان کو بتا سکتے ہیں کہ وہ کہاں نہیں جا سکتے ہیں اور اپنی پوری ویب سائٹ سے مخصوص کرالر کو بھی روک سکتے ہیں.

ذہن میں برداشت کرنے کے لئے ضروری ہے کہ روبوٹ.txt فائل کے ساتھ ساتھ ساتھ ساتھ رکھے ہوئے تلاش کے انجن کے لئے زبردست قدر ہوں اور آپ کی ویب سائٹ کی کارکردگی کو بہتر بنانے میں بھی اہم عنصر ہوسکتا ہے، لیکن کچھ روبوٹ کرالر اب بھی آپ کے ہدایات کو نظر انداز کردیں گے. اس وجہ سے، ہر وقت آپ کے تمام سافٹ ویئر، پلگ ان اور ایپس کو رکھنے کے لئے ضروری ہے.

متعلقہ مضامین اور معلومات

معلوماتی کٹائی کی کھپت کی وجہ سے غیر واضح (سپیم) کے مقاصد کے لئے استعمال کیا گیا تھا، 2003 میں قانون سازی منظور ہوگئی تھی. 2003 کے CAN-SPAM ایکٹ کے تحت ان صارفین کے تحفظ کے قوانین گر جاتے ہیں.

یہ ضروری ہے کہ آپ CAN-SPAM ایکٹ پر پڑھنے کا وقت لیں اگر آپ کا کاروبار کسی بھی بڑے پیمانے پر میلنگ یا معلومات کی کٹائی میں مصروف ہے.

آپ سپیم قوانین اور سپیمرز سے نمٹنے کے بارے میں مزید معلومات حاصل کرسکتے ہیں، اور مندرجہ ذیل مضامین کو پڑھنے کے ذریعہ آپ کو کاروباری مالک کے طور پر نہیں کیا جا سکتا: