সার্চ ইঞ্জিন কি, কিভাবে কাজ করে?

সার্চ ইঞ্জিন মূলত একটি ওয়েব অনসন্ধান ইঞ্জিন বা সফট্‌ওয়্যার প্রোগ্রাম যা তথ্য জমা করে এবং প্রয়োজনের সময় সেই তথ্য প্রদান করে। সার্চ ইঞ্জিন একটি স্প্রিপ্টের মাধ্যমে রান হয় এবং নেট দুনিয়ায় ঘুরে বেড়ায়। এটিকে আপনি একটি মাকড়সার সাথে তুলনা করতে পারেন যা পুরো নেট দুনিয়ায় নিজের জাল ছড়িয়ে রাখে তথ্য সংগ্রহের জন্য। আপনি যখন কোন তথ্যের জন্য সার্চ করেন, তখন এটি নিজের কাছে জমা করে রাখা কোটি কোটি ওয়েব পেইজ থেকে বাছাই করে আপনার দরকারি তথ্যটি খুঁজে দেয়।

সাধারণত ওয়েব সার্চ ইঞ্জিন একটি স্পাইডার বা ওয়েব ক্রলার পাঠিয়ে সমস্ত লাইভ ওয়েবসাইট থেকে যতটা সম্ভব তথ্য সংগ্রহ করে। যখনই কোন ওয়েবসাইটে নতুন কোন তথ্য অ্যাড করা হয় কিংবা পুরনো তথ্য এডিট করে আফডেট করা হয়, তখনই ওয়েব ক্রলার বা সার্চ ইঞ্জিন বট সেখানে হাজির হয়ে নতুন তথ্যগুলো নিয়ে নেয়।

এমনকি, যদি দীর্ঘদিন ধরে কোন ওয়েবসাইটে নতুন পোস্ট না দেয়া হয় কিংবা পুরনো পোস্ট এডিট করা না হয়, তবুও সার্চ ইঞ্জিন ক্রলার সেই ওয়েবসাইট ভিজিট করা বন্ধ করে দেয় না, বরং নিয়মিতই ভিজিট করতে থাকে। এভাবে, মিনিটে মিনিটে লাখ লাখ ওয়েবসাইট ভিজিট করে সার্চ ইঞ্জিন বটগুলো ওয়েবে থাকা যাবতীয় সব তথ্য সংগ্রহ করে রাখে।

সার্চ ইঞ্জিনের সাহায্যকারী আরেকটি প্রোগ্রাম হল ইনডেক্সার যা সেই তথ্যগুলোকে পড়ে নিয়ে স্তরে স্তরে জমা করে রাখে। আবার জমাকৃত এই বিশাল তথ্য থেকে অনেক তথ্যও মুছেও দেয় সার্চ ইঞ্জিন ইনডেক্সার। কোন লেখা ডুপ্লিকেট হলে, মান-সন্মত না হলে কিংবা ব্রোকেন ইউআরএল হলে ওই সব তথ্য মুছে ফেলা হয় সার্চ ইঞ্জিনের তথ্য ভান্ডার থেকে।

জমাকৃত এই সব তথ্য থেকে ডুপ্লিকেট তথ্য ফেলে দেয়া এবং অর্থপূর্ণ আর উপকারি তথ্যগুলোকে আলাদা করার জন্য রয়েছে আরেকটি ফিচার যার নাম, প্রোপার্টি অ্যালগোরিদম। এই ফিচারটির সাহায্যেই আমরা সার্চ করার পর সঠিক, যুক্তিসঙ্গত আর উপকারি রেজাল্টগুলো পেয়ে থাকি।

কার্যপ্রনালী আর অ্যালগোরিদমের উপর ভিত্তি করে সার্চ ইঞ্জিনকে ৩ ভাগে ভাগ করা যায়। সেগুলো হল, প্রাইমারি সার্চ ইঞ্জিন, সেকেন্ডারি সার্চ ইঞ্জিন ও টার্গেটেড সার্চ ইঞ্জিন। প্রাইমারি সার্চ ইঞ্জিন হলো সচরাচর আমরা যেগুলো ব্যবহার করি, যেমন গুগল, বিং, ইয়াহু ইত্যাদি। সেকেন্ডারি সার্চ ইঞ্জিন মূলত ডিরেক্টরি, যেমন এমএসএন, স্ন্যাপ, হটবট, ইত্যাদি। আর টার্গেটেড সার্চ ইঞ্জিন হচ্ছে ওই সকল সফট্‌ওয়্যার যেগুলো শুধুমাত্র কোন নির্দিষ্ট কন্টেন্ট খোঁজার জন্য ব্যবহার করা হয়। যেমন, এওএল সার্চ, লাইকস, অল্টা বিস্তা, ইত্যাদি।

১৯৪৫ সালে ‘দি আটলান্টিক মান্থলি’ ম্যাগাজিনে হাইপার টেক্সট্ ও মেমোরি নিয়ে লেখা Vannevar Bush এর ‘অ্যাজ উই মে থিংক’ নামে একটি প্রবন্ধ প্রকাশিত হওয়ার পরই সার্চ ইঞ্জিনের ধারণাটি প্রথম মাথায় আসে অনেকের।

Vannevar Bush এর ধারণাটিকে কাজে লাগিয়ে হিউলেট প্যাকার্ড নামের একটি প্রতিষ্ঠান ১৯৮৬ সালে প্রথম সার্চ ইঞ্জিন আবিস্কার করতে সক্ষম হলেও সেটি পুরোপুরি কার্য্যকরী না হওয়ায় গ্রহণযোগ্যতা পায়নি।

১৯৯০ সালে প্রথম কার্য্যকরী সার্চ ইঞ্জিন আবিস্কার করেন Gerard Salton নামের হার্ভার্ড ইউনিভার্সিটির একজন প্রপেসর। তাকেই সার্চ ইঞ্জিনের জনক, দ্যা ফাদার অব দ্যা সার্চ ইঞ্জিন বলা হয়। দু:খের বিষয় সার্চ ইঞ্জিন আবিস্কারের পূর্ণাঙ্গ সুফল তিনি দেখে যেতে পারেননি। কারণ, আবিস্কার ৪ বছর পরই ১৯৯৫ সালে তিনি মৃত্য বরণ করেন।

১৯৯১: Team Berners-Lee সার্চ ইঞ্জিনের জন্য প্রথম ভার্সুয়াল লাইব্রেরি সেটআপ করেন।

১৯৯২: গোপার ইনডেক্স সিস্টেমে ফাইল নেম ও টাইটেল ঠিক করে দেন Veronica।

১৯৯৩: সিঙ্গেল সার্ভারে তথ্য রাখার ব্যবস্থা করেন Jughead আর Matthew Gray প্রথম চলমান সার্চ বট সৃষ্টি করেন।

১৯৯৪: একজন ওয়েব মাস্টার যাতে রিয়েল টাইমে ইন্টারনেটে যে কোন ওয়েব পেজ সাবমিট করতে পারেন, সে ব্যবস্থা তৈরি করেন ইনফোসিক নামের একটা প্রতিষ্ঠান। একই বছরে মেটা ইনফো ক্রলার তৈরি করেন Martijn Koster নামের মাইক্রসফট্ এর এক কর্মকর্তা। এই বছরই মাইক্রোসফট্ এর অন্য দুই কর্মকর্তা David Filo ও Jerry Yang প্রথম আলোচিত সার্চ ইঞ্জিন তৈরি করেন, যার নাম দেয়া হয় ইয়াহু সার্চ।

ইয়াহুর পরে আসে লাইকস, লুক স্মার্ট, এক্সাইট, অল্টাবিস্তা, এওএলসহ আরো বেশ কিছু সার্চ ইঞ্জিন। কিন্তু ১৯৯৪ সালে গুগল সার্চ আসার পর অন্য সব ইঞ্জিন জনপ্রিয়তা হারাতে শুরু করে।

যাইহোক, সার্চ ইঞ্জিন কি, সার্চ ইঞ্জিনের ইতিহাস, সার্চ ইঞ্জিন কিভাবে তথ্য পায় আর কিভাবে তথ্যের আদান-প্রদান করে সে সম্পর্কে মোটামুটি একটা ধারণা পেলাম আমরা। চলুন, এবার জেনে নেই বিশ্বের সেরা ১০টি সার্চ ইঞ্জিন সম্পর্কে।