Egyenesen a Google-tól:
A metacímkék nagyszerű módot nyújtanak a webmestereknek arra, hogy a keresőmotoroknak információkat nyújtsanak a webhelyeikről. A metacímkék felhasználhatók információk nyújtására mindenféle kliens számára, és minden rendszer csak az általuk értett metacímkéket dolgozza fel, a többit pedig figyelmen kívül hagyja.
Ha teljesen le akarja tiltani az összes keresőmotort:
Miért?
Talán kissé privát URL a webhelyén, de nincs olyan módon védve, hogy egy keresőrobot nem láthatja. Mint ha egy oldalhoz bejelentkezés szükséges a megtekintéshez, azt egyébként is blokkolja a kereső bot. De ha csak egy homályos URL-ről van szó, akkor ki tudja, hogyan keringenek a keresőrobotok, érdemes lehet megakadályozni az indexelést.
A keresési eredmények egy másik gyakori. Furcsa, hogy a keresési eredmények lehetnek keresési eredmények. A WordPress témák általában ezt tartalmazzák:
Lehet, hogy ezt kicsit megváltoztatom, és mondom a botoknak, hé, az itt található linkek segítségével tovább folytathatja a webhely indexelését, de ne indexelje ezt az oldalt kifejezetten.
Mások
A keresőmotorok általában a leírás címkét használják szöveges tartalomhoz a következők mellett :
Keresse meg a Google oldalt más Google-specifikus oldalakkal kapcsolatban, mint például a Google-specifikus felhasználói felület leállításának lehetősége, például a „site link search box”.