А вот перебор точно не нужен

Такой вариант работает на одном-двух-трех десятках страниц. Дальше - получишь такой тормоз, что мало не покажется.

И потом, если нужен "яндекс" то необходимо учитывать морфологию слова при индексировании, что задача не для слабонервных и требует очень хорошего знания правил русского языка. ;-) А этим похвастать может редкий разработчик/программист/кодер.

К сожалению, вынужден согласиться, что для индексирования удаленных страниц парсер не поможет.
Но если все страницы локальны, сделать индексирование можно на парсере, причем очень просто. Достаточно "грузить" файл инклюдом в переменную, матчить по пробелу, дефису, чему_там_еще, скипать энтити и писать в базу пару "слово"-"URI/URL".
С учетом того, что старый добрый MySQL (будь он неладен) позволяет индексировать литеральные поля, поиск по такой базе будет быстр.
Тут и кронов не надо. Или админ раз в день руками заходит на страницу и индексирует поля или "самоиндексирование" на каждом тысячном запросе на поиск (хуже).