Потърсете професионална информация в интернет. Софтуер и услуги за професионално търсене

29.11.2021

Прочетете също

Колко време отнема актуализирането на iPhone

Как да изтеглите и инсталирате теми на Xiaomi Темите от източници на трети страни не са

Достъпност на Windows за хора с увредено зрение Задайте теми с висок контраст

Проверка на псевдоним за десетки услуги наведнъж, преброяване на повторни публикации във Facebook и визуализиране на връзките с акаунти в Twitter.

Анализът на съдържанието на социалните медии е гореща тема сред стартиращите компании. Всяка година има все повече услуги за търсене на публикации и хора. Но много от тях или изчезват бързо, или са налични в незавършен вид, или са скъпи за използване.

Този материал съдържа онези няколко от тях, които ви позволяват бързо и безплатно да получите наистина полезна или просто интересна информация.

1. Търсене на профил

Система за търсене доносникви позволява да търсите профили на човек в четири дузини услуги, включително уебсайтовете на водещите световни университети и криминалната база данни на САЩ:

За съжаление, някои от сайтовете, за които можете да поставите отметки, вече не работят. Например Google Uncle Sam, затворен преди 5 години. Но въпреки този и други задръствания, Snitch е полезна услуга, която може значително да спести време при търсене на информация за човек.

Ако за някоя услуга вместо блокове с резултати от търсенето се показва празен екран, тогава за да ги видите, трябва да следвате връзката Отворете нов прозорец:

2. Търсене на хаштагове

Използва се много лесно. Необходимо е да въведете желания хештег във формата за търсене и след секунда ще се появи списък с последните записи, маркирани от него в шест социални мрежи:

3. Анализ на последните туитове

Услугата ви позволява да получите списък с последните сто туита, съдържащ търсената дума, хаштаг или име на акаунт. А също и да разберете малко аналитична информация за хората, които са направили тези туитове и времето на тяхното създаване:

Да приемем, че искате да разберете кой потребител е причинил необичайно голям брой кликвания върху статия от Twitter. Разглеждаме последните 100 туита и виждаме кой от хората, които споменаха оригиналната концепция, има най-много последователи:

Собственици платен абонаментголям брой туитове са достъпни за анализ:

4. Анализ на Twitter акаунт

На Mentionappможете да въведете името на акаунта и да получите информация за него (кой ретуитва най-често, какви хаштагове използва и т.н.) под формата на диаграма на връзката:

5. Търсене на туитове на картата

Ако щракнете някъде върху картата на , можете да прочетете най-новите туитове, направени наблизо:

6. Броят на споменаванията в социалните мрежи

Споделен бройпомага да се оцени популярността на дадена статия/сайт в социалните мрежи. Вкарвате в URL адреса и след няколко секунди има статистика за споменавания във Facebook, Google+, Pinterest, LinkedIn и Stumble Upon:

7. Търсене във форуми

четец на дъскае търсачка за форуми и табла за обяви:

Оценката на мащаба на бедствието показа, че на жител на Русия има почти 4 отговора на този портал.

8. Пробиваме влизането в социалните мрежи

Отидете на knowem.com и въведете псевдонима на човека. В отговор получаваме информация в кои услуги е регистриран:

9. Определете името на лицето по имейл

Ако все още търсите хора, като ги заколите пощенски адресив Google, тогава трябва да откажете този метод. Все пак има pipl.com. Вкарвате имейл (псевдоним) и получавате списък с профили в социалните мрежи:

Информацията не винаги е точна и пълна, но услугата е изключително полезна.

Това е всичко. Струва си да говорим за Socialmention (анализ на незавършен преглед), Yomapic (търсене на снимки от VK и Instagram на картата) и yandex.

Професионалното търсене в Интернет изисква специализиран софтуер, както и специализирани търсачки и услуги за търсене.

ПРОГРАМИ

http://dr-watson.wix.com/home - програма, предназначена за изследване на масиви текстова информацияза да се идентифицират субектите и връзките между тях. Резултатът от работата е доклад за изследвания обект.

http://www.fmsasg.com/ - Sentinel Vizualizer е един от най-добрите в света софтуер за визуализация на връзки и взаимоотношения. Компанията напълно русифицира своите продукти и свърза гореща линия на руски език.

http://www.newprosoft.com/ - "Web Content Extractor" е най-мощният, лесен за използване софтуер за извличане на данни от уеб сайтове. Освен това има ефективен Visual Web spider.

SiteSputnik – без аналог в света софтуерен пакет, което ви позволява да търсите и обработвате резултатите от него във видимия и невидимия Интернет, като използвате всички търсачки, необходими на потребителя.

WebSite-Watcher - позволява ви да наблюдавате уеб страници, включително защитени с парола, да наблюдавате форуми, RSS емисии, дискусионни групи, локални файлове. Притежава мощна системафилтри. Наблюдението е автоматично и се предоставя по удобен за потребителя начин. Програмата с разширени функции струва 50 евро. Постоянно се актуализира.

http://www.scribd.com/ е най-популярната платформа в света и все по-често се използва в Русия за хостване на различни видове документи, книги и др. за свободен достъп с много удобна търсачка за имена, теми и др.

http://www.atlasti.com/ - е най-мощният и ефективен инструмент за индивидуални потребители, малък и дори среден бизнес за качествен анализ на информация. Програмата е многофункционална и следователно полезна. Той съчетава възможностите за създаване на единна информационна среда за работа с различни текстови, електронни таблици, аудио и видео файлове като цяло, както и инструменти за качествен анализ и визуализация.

Ashampoo ClipFinder HD - Все по-голяма част от информационния поток е видео. Съответно конкурентните скаути се нуждаят от инструменти за работа с този формат. Един от тези продукти е безплатна помощна програма. Позволява ви да търсите видеоклипове по определени критерии в хранилища за видеофайлове като YouTube. Програмата е лесна за използване, показва всички резултати от търсенето на една страница с подробна информация, заглавия, продължителност, време, когато видеото е качено в хранилището и др. Има руски интерфейс.

http://www.advego.ru/plagiatus/ - програмата е направена от seo оптимизатори, но е доста подходяща като инструмент за интернет разузнаване. Плагиатството показва степента на уникалност на текста, източниците на текста, процента на съвпадение на текста. Програмата също така проверява уникалността на посочения URL. Програмата е безплатна.

http://neiron.ru/toolbar/ - включва добавка за комбиниране на търсения в Google и Yandex, а също така ви позволява да извършвате конкурентен анализ въз основа на оценка на ефективността на сайтове и контекстна реклама. Внедрено като плъгин за FF и GC.

http://web-data-extractor.net/ е универсално решение за получаване на всякакви данни, налични в Интернет. Настройката на изрязване на данни от всяка страница се извършва с няколко кликвания на мишката. Просто трябва да изберете областта с данни, която искате да запазите и Datacol ще избере формулата за изрязване на този блок.

CaptureSaver е професионален инструмент за интернет проучване. Просто незаменима работна програма, което ви позволява да улавяте, съхранявате и експортирате всяка информация в Интернет, включително не само уеб страници, блогове, но също и RSS новини, имейл, изображения и др. Има най-широка функционалност, интуитивен ясен интерфейси смешна цена.

http://www.orbiscope.net/en/software.html - система за уеб мониторинг на повече от достъпни цени.

http://www.kbcrawl.co.uk/ - софтуерза работа, включително и в "Невидимия интернет".

http://www.copernic.com/en/products/agent/index.html - програмата ви позволява да търсите с повече от 90 търсачки, повече от 10 параметъра. Позволява ви да обедините резултати, да елиминирате дубликати, да блокирате повредени връзки, да показвате най-подходящите резултати. Предлага се в безплатни, лични и професионални версии. Използва се от повече от 20 милиона потребители.

Maltego е фундаментално нов софтуер, който ви позволява да установите връзката на субекти, събития и обекти в реалния живот и в Интернет.

УСЛУГИ

нов е уеб браузър с десетки предварително инсталирани инструменти за OSINT.

е ефективен агрегатор за търсене за намиране на хора на основния руски език в социалните мрежи.

https://hunter.io/ е ефективна услуга за откриване и проверка на имейли.

https://www.whatruns.com/ - лесен за използване, но ефективен скенер, което ви позволява да откриете какво работи и какво не работи на уебсайт и какви са дупките в сигурността. Също така имплементиран като плъгин за Chrom.

https://www.crayon.co/ е американска евтина пазарна и конкурентна разузнавателна платформа в Интернет.

http://www.cs.cornell.edu/~bwong/octant/ - локатор на хостове.

https://iplogger.ru/ - проста и удобна услуга за определяне на IP на някой друг.

http://linkurio.us/ е мощен нов продукт за работниците по икономическа сигурност и разследващите корупция. Обработва и визуализира огромни масиви от неструктурирана информация от финансови източници.

http://www.intelsuite.com/en е англоезична онлайн платформа за конкурентно разузнаване и мониторинг.

http://yewno.com/about/ е първата операционна система за преобразуване на информация в знания и визуализиране на неструктурирана информация. В момента поддържа английски, френски, немски, испански и португалски.

https://start.avalancheonline.ru/landing/?next=%2F - прогнозни и аналитични услуги на Андрей Масалович.

https://www.outwit.com/products/hub/ - пълен набор от самостоятелни програми за професионална работа в мрежата 1.

https://github.com/search?q=user%3Acmlh+maltego - разширения за Maltego.

http://www.whoishostingthis.com/ - търсачка за хостинг, IP адреси и др.

http://appfollow.ru/ - анализ на приложения въз основа на рецензии, ASO оптимизация, позиции в топовете и резултати от търсене за App Store, Google Play и Windows Phone Store.

http://spiraldb.com/ е услуга, реализирана като плъгин за Chrom, която ви позволява да получите много ценна информация за всеки електронен ресурс.

https://millie.northernlight.com/dashboard.php?id=93 - безплатно обслужване, събиране и структуриране на ключова информация за индустрии и компании. Възможно е да се използват информационни панели, базирани на анализ на текст.

http://byratino.info/ - събиране на фактически данни от публично достъпни източници в Интернет.

http://www.datafox.co/ - CI платформа, която събира и анализира информация за компании, представляващи интерес за клиентите. Има демо.

https://unwiredlabs.com/home - специализирано приложение с API за търсене по геолокация на всяко устройство, свързано с интернет.

http://visualping.io/ е услуга за наблюдение на сайтове и на първо място на снимките и изображенията в тях. Дори снимката да се появи за секунда, тя ще бъде вътре електронна пощаабонат. Има плъгин за Google Chrome.

http://spyonweb.com/ е изследователски инструмент, който ви позволява да извършите задълбочен анализ на всеки интернет ресурс.

http://bigvisor.ru/ - услугата ви позволява да проследявате рекламни компанииза определени сегменти от стоки и услуги или за конкретни организации.

http://www.itsec.pro/2013/09/microsoft-word.html - Инструкции на Артем Агеев за използване Windows програмиза нуждите на конкурентното разузнаване.

http://granoproject.org/ - инструмент с отворен код програмен кодза изследователи, които проследяват мрежи от връзки между хора и организации в политиката, икономиката, престъпността и др. Позволява ви да свързвате, анализирате и визуализирате информация, получена от различни източници, както и да показвате значими връзки.

http://imgops.com/ е услуга за извличане на метаданни от графични файлове и работа с тях.

http://sergeybelove.ru/tools/one-button-scan/ - малък онлайн скенер за проверка на дупки в сигурността на уебсайтове и други ресурси.

http://isce-library.net/epi.aspx - услуга за търсене на първични източници по фрагмент от текст на английски език

https://www.rivaliq.com/ е ефективен инструмент за провеждане на конкурентно разузнаване на западните, предимно европейски и американски пазари за стоки и услуги.

http://watchthatpage.com/ е услуга, която ви позволява автоматично да събирате нова информация от наблюдаваните ресурси в Интернет. Сервизните услуги са безплатни.

http://falcon.io/ е един вид Rapportive за мрежата. Не е заместител на Rapportive, но предоставя допълнителни инструменти. За разлика от Rapportive, той дава общ профил на човек, сякаш залепен от данни от социални мрежи и споменавания в web.http://watchthatpage.com/ - услуга, която ви позволява автоматично да събирате нова информация от наблюдаваните ресурси на Интернет. Сервизните услуги са безплатни.

https://addons.mozilla.org/en/firefox/addon/update-scanner/ е добавка за Firefox. Следи актуализациите на уеб страницата. Полезно за уебсайтове, които нямат емисии с новини (Atom или RSS).

http://agregator.pro/ е агрегатор на новинарски и медийни портали. Използва се от търговци, анализатори и др. за анализиране на новинарски потоци по определени теми.

http://price.apishops.com/ - автоматизирана уеб услуга за следене на цените за избрани стокови групи, конкретни онлайн магазини и други параметри.

http://www.la0.ru/ е удобна и подходяща услуга за анализиране на връзки и препратки към интернет ресурс.

www.recordedfuture.com е мощен инструмент за анализ на данни и визуализация, реализиран като онлайн услуга, базирана на облачни изчисления.

http://advse.ru/ е услуга под мотото „Научете всичко за вашите конкуренти“. Позволява ви да получите уебсайтове на конкуренти в съответствие със заявките за търсене, да анализирате рекламните кампании на конкурентите в Google и Yandex.

http://spyonweb.com/ – услугата ви позволява да идентифицирате сайтове с едни и същи характеристики, включително такива, които използват едни и същи идентификатори на статистически услуги на Google Analytics, IP адреси и др.

http://www.connotate.com/solutions - линия от продукти за конкурентно разузнаване, управление на информационния поток и трансформиране на информация в информационни активи. Той включва както сложни платформи, така и прости евтини услуги, които ви позволяват ефективно да наблюдавате, заедно с компресиране на информация и получаване само на резултатите, от които се нуждаете.

http://www.clearci.com/ е платформа за конкурентно разузнаване за фирми от всякакъв размер от стартиращи и малки компании до компании от Fortune 500. Проектиран като saas.

http://startingpage.com/ е добавка на Google, която ви позволява да търсите в Google, без да коригирате своя IP адрес. Напълно поддържа всички функции за търсене на Google, включително руски.

http://newspapermap.com/ е уникална услуга, която е много полезна за офицер от конкурентното разузнаване. Свързва геолокацията с онлайн медийна търсачка. Тези. избирате региона или дори града или езика, който ви интересува, вижте мястото и списъка с онлайн версии на вестници и списания на картата, щракнете върху съответния бутон и прочетете. Поддържа руски език, много удобен интерфейс.

http://infostream.com.ua/ е много удобна, отличаваща се с първокласна селекция, доста достъпна за всеки портфейл, системата за наблюдение на новини Infostream от един от класиците на интернет търсенето D.V. Lande.

http://www.instapaper.com/ е много прост и ефективен инструмент за запазване на необходимите уеб страници. Може да се използва на компютри, iPhone, iPad и др.

http://screen-scraper.com/ - позволява автоматично извличане на цялата информация от уеб страници, изтегляне на по-голямата част от файловите формати, автоматично въвеждане на данни в различни форми. Запазва изтеглените файлове и страници в бази данни, извършва много други изключително полезни функции. Работи под всички основни платформи, има напълно функционални безплатни и много мощни професионални версии.

http://www.mozenda.com/ - има няколко тарифни плановеи достъпна дори за малкия бизнес, уеб услуга за многофункционален уеб мониторинг и доставка от избрани сайтове на необходимата за потребителя информация.

http://www.recipdonor.com/ - услугата ви позволява автоматично да наблюдавате всичко, което се случва на сайтовете на конкурентите.

http://www.spyfu.com/ - и това е ако имате чуждестранни конкуренти.

www.webground.su е услуга за наблюдение на Runet, създадена от професионалисти в интернет търсенето, която включва всички основни доставчици на информация, новини и т.н., и има възможност за индивидуални настройки за наблюдение за нуждите на потребителя.

ТЪРСАЧКИ

https://www .idmarch .org/ е най-добрата търсачка за световния архив на pdf документи по отношение на качеството. В момента са индексирани повече от 18 милиона pdf документа, вариращи от книги до секретни доклади.

http://www.marketvisual.com/ е уникална търсачка, която ви позволява да търсите собственици и топ мениджмънт по пълно име, име на фирма, длъжност или комбинация от тях. Резултатите от търсенето съдържат не само желаните обекти, но и техните връзки. Предназначен предимно за англоговорящите страни.

http://worldc.am/ е машина за търсене на снимки със свободен достъп, свързана с геолокация.

https://app.echosec.net/ е търсачка с обществено достояние, която се описва като най-модерния аналитичен инструмент за професионалисти в правоприлагането и сигурността и разузнаването. Позволява ви да търсите снимки, публикувани на различни сайтове, социални платформии в социалните мрежи във връзка с конкретни геолокационни координати. В момента има свързани седем източника на данни. До края на годината броят им ще надхвърли 450. Благодаря на Dementy за съвета.

http://www.quandl.com/ е търсачка за седем милиона финансови, икономически и социални бази данни.

http://bitzakaz.ru/ - търсачка за търгове и държавни поръчки с допълнителни платени функции

Website-Finder - дава възможност за намиране на сайтове, които са слабо индексирани от Google. Единственото ограничение е, че търси само 30 уебсайта за всяка ключова дума. Програмата е лесна за използване.

http://www.dtsearch.com/ е най-мощната търсачка, която ви позволява да обработвате терабайти текст. Работи на десктоп, уеб и интранет. Поддържа както статични, така и динамични данни. Позволява ви да търсите във всички програми на MS Office. Търсенето се извършва по фрази, думи, тагове, индекси и много други. Единствената налична федерална търсачка. Има както платени, така и безплатни версии.

http://www.strategator.com/ - търси, филтрира и събира фирмена информация от десетки хиляди уеб източници. Търси САЩ, Великобритания, основните страни от ЕИО. Той е много подходящ, удобен за потребителя, има безплатни и платена опция($14 на месец).

http://www.shodanhq.com/ е необичайна търсачка. Веднага след появата си той получава прозвището "Google за хакери". Той не търси страници, но определя IP адреси, типове рутери, компютри, сървъри и работни станции, разположени на определен адрес, проследява вериги от DNS сървъри и ви позволява да внедрите много други интересни функцииза конкурентно разузнаване.

http://search.usa.gov/ - търсачка за уебсайтове и открити базивсички правителствени агенции на САЩ. Базите данни съдържат много практическа полезна информация, включително и за използване у нас.

http://visual.ly/ – Визуализацията все повече се използва за представяне на данни. Това е първата инфографична търсачка в мрежата. Наред с търсачката, порталът разполага с мощни инструменти за визуализация на данни, които не изискват умения за програмиране.

http://go.mail.ru/realtime - търсене на дискусии на теми, събития, обекти, теми в реално или персонализирано време. По-рано силно критикуваното търсене в Mail.ru работи много ефективно и дава интересни, подходящи резултати.

Zanran е първата и единствена търсачка за данни, която извлича данни от PDF файлове, EXCEL таблици, данни на HTML страници.

http://www.ciradar.com/Competitive-Analysis.aspx е една от най-добрите търсачки в света за конкурентно разузнаване в дълбоката мрежа. Извлича почти всички видове файлове във всички формати по темата, която ви интересува. Реализирано като уеб услуга. Цените са повече от приемливи.

http://public.ru/ - Ефективно търсене и професионален анализ на информация, медиен архив от 1990 г. Интернет медийната библиотека предлага широка гама от информационни услуги: от достъп до електронни архиви на медийни публикации на руски език и готови тематични прегледи на пресата до индивидуален мониторинг и ексклузивни аналитични проучвания, базирани на материали от пресата.

Cluuz е млада търсачка с широки възможностиза конкурентно разузнаване, особено в англоезичния интернет. Позволява не само намиране, но и визуализиране, установяване на връзки между хора, компании, домейни, имейли, адреси и др.

www.wolframalpha.com е търсачката на утрешния ден. За заявка за търсене той издава статистическа и фактическа информация, налична за обекта на заявката, включително визуализирана информация.

www.ist-budget.ru - универсално търсене в бази данни за обществени поръчки, търгове, аукциони и др.

ПРОФЕСИОНАЛНО ТЪРСЕНЕ НА ИНФОРМАЦИЯ В ИНТЕРНЕТ

За да бъде успешно търсенето в Интернет, трябва да са изпълнени две условия: заявките да са добре формулирани и да се задават на подходящи места. С други думи, от една страна, от потребителя се изисква да може да преведе своите интереси за търсене на езика заявка за търсене, а от друга страна, добро познаване на търсачките, наличните инструменти за търсене, техните предимства и недостатъци, което ще ви позволи да изберете най-подходящите инструменти за търсене във всеки конкретен случай.

В момента няма нито един ресурс, който да отговаря на всички изисквания за търсене в Интернет. Следователно, със сериозен подход към търсенето, неизбежно трябва да използвате различни инструменти, като използвате всеки в най-подходящия случай.

Основен инструменти за търсене в интернетмогат да бъдат разделени на следните основни групи:

търсачки;

Уеб директории;

Справочни ресурси;

Локални програми за търсене в интернет.

Най-популярната търсачка етърсачки- така наречените интернет търсачки (Search Engines). Тримата лидери в световен мащаб са доста стабилни - това са Google, Yahoo! и Bing. Много страни добавят свои собствени локални търсачки, оптимизирани за местно съдържание към този списък. С тяхна помощ, теоретично, можете да намерите всяка конкретна дума на страниците на много милиони сайтове. От гледна точка на потребителя основният недостатък на търсачките е неизбежното присъствиеинформационен шумв резултатите. Така е прието да се наричат резултати, които по една или друга причина са включени в списъка с резултати, които не отговарят на заявката.

Въпреки многото различия, всички интернет търсачки работят на сходни принципи и от техническа гледна точка се състоят от подобни подсистеми. Първата структурна част на търсачката - специални програмиприложен към автоматично търсенеи последващо индексиране на уеб страници. Такива програми обикновено се наричат паяци или ботове. Те разглеждат кода на уеб страниците, намират връзки, разположени върху тях, и по този начин откриват нови уеб страници. Също така има алтернативен начинвключване на сайта в индекса. Много търсачки предлагат на собствениците на ресурси възможност сами да добавят сайт към своята база данни. Както и да е, тогава уеб страниците се изтеглят, анализират и индексират. В тях се разграничават структурни елементи, има ключови думисе определят техните връзки с други сайтове и уеб страници. Извършват се и други операции, резултатът от които е формирането на индексната база на търсачката. Тази база е вторият основен елемент на всяка търсачка. Понастоящем няма една абсолютно пълна индексна база данни, която да съдържа информация за цялото съдържание на Интернет. Тъй като различни търсачкиизползване различни програмида търсят уеб страници и да изграждат техния индекс с помощта на различни алгоритми, базите на индексите на търсачките могат да варират значително. Някои сайтове се индексират от няколко търсачки, но винаги има определен процент ресурси, включени в базата данни само на една търсачка. Фактът, че всяка търсачка има такава оригинална и незастъпваща се част от индекса, ви позволява да направите важен практически извод: ако използвате само една търсачка, дори и най-голямата, определено ще загубите определен процент полезни връзки .

Следващата част от интернет търсачката е същинската програма за търсене и сортиране. Тези програми решават две основни задачи: първо намират страници и файлове в базата данни, които съответстват на входящата заявка, и след това сортират получения масив от данни според различни критерии. Успехът в постигането на целите на търсенето до голяма степен зависи от ефективността на тяхната работа.

Последният елемент на интернет търсачката е потребителският интерфейс. В допълнение към обичайните изисквания за естетика и удобство за всеки сайт, интерфейсите на търсачките имат още едно важно изискване: те трябва да предлагат различни инструменти за компилиране и прецизиране на заявки, както и сортиране и филтриране на резултатите. Предимствата на търсачките са отличното покритие на източниците, относително бързото актуализиране на съдържанието на базата данни и добър избор допълнителни функции.

Основният инструмент за работа с търсачките е заявката.

Използват се и търсения в Интернет специални приложенияинсталиран на локален компютър. Може да е като прости програми, и доста сложни комплекси за търсене и анализ на данни. Най-често срещаните плъгини за браузъри са плъгини за браузъри, панели на браузъри, предназначени да работят с конкретна услуга за търсене, и пакети за метатърсене с възможности за анализ на резултати.

Уеб директории - това са ресурси, в които сайтовете са разпределени по тематични категории. Ако потребителят работи с търсачките само чрез заявки, тогава каталогът има възможност да преглежда всички тематични секции. Втората основна разлика между каталозите и автоматичните търсачки е, че по правило хората директно участват в тяхното съдържание, които разглеждат ресурси и приписват сайта на една или друга категория. Уеб директориите обикновено се разделят на универсални и тематични. Universal се опитва да обхване възможно най-много теми. В тях можете да намерите всичко: от сайтове за поезия до компютърни ресурси. С други думи, те имат максимална широчина на търсене. Тематичните директории, от друга страна, се специализират в определена тема, осигурявайки максимална дълбочина на търсене чрез намаляване на обхвата на ресурсите.

Предимства на каталозите - сравнително високо качестворесурси, тъй като всеки сайт в него се разглежда и избира от човек. Тематичното групиране на сайтове ви позволява удобно да намирате сайтове с подобни теми. Този режим на работа е добър за откриване на нови сайтове за вас по интересуваща ви тема - по-точен е от използването на търсачка. Препоръчително е да използвате уеб директории за първо запознаване с всяка предметна област, както и за търсене на размити заявки - ще имате възможност да „скитате“ през секциите на директорията и по-точно да определите какво ви трябва.

Недостатъците на уеб директориите са известни. На първо място, това е бавно попълване на базата данни, тъй като включването на сайт в каталога изисква участието на човек. По отношение на ефективността уеб директорията не е съперник на търсачките. Освен това уеб директориите значително отстъпват на търсачките по отношение на размера на базата данни.

Когато говорим за търсене в интернет, не можем да пренебрегнем редица термини, които са тясно свързани с тази област и често се използват за описание и оценка на търсачките. Например:широчина и дълбочина търсене в интернет. Широкото търсене е търсене, което обхваща възможно най-много източници на информация. В същото време поне споменаването на конкретен сайт, който съответства на заявката, се счита за достатъчно. Дълбочината на търсене се отнася до детайлите на индексирането и последващото търсене на всеки конкретен ресурс. Например, много търсачки имат различни подходи за индексиране на различни сайтове. Големите и популярни сайтове се индексират в максимална степен, роботите се опитват да не пропуснат нито една страница от такъв ресурс. В същото време на други сайтове само главната страница и няколко страници със съдържание могат да бъдат индексирани. Тези обстоятелства, разбира се, влияят на последващото търсене. Дълбокото търсене работи на принципа „по-добре е да включите излишна информация в резултатите, отколкото да пропуснете каквито и да било данни, свързани с темата за търсене“.

Доста често се срещат понятия като напрглобални и местни търсене в интернет. Локалното търсене в Интернет взема предвид географското местоположение на потребителя и дава предпочитание на резултати, които по някакъв начин са свързани с определена страна или населено място. Глобалното търсене игнорира тази информация и търси във всички налични ресурси.

При компилиране на заявка в интернет търсачките работят различни режими на търсене. Типичните режими на търсене, открити на повечето интернет машини, включватпрости и разширени Търсене. Простото търсене ви позволява да посочите само една функция за търсене в една заявка. Разширеното търсене прави възможно създаването на заявка от няколко условия, като ги свързва с логически оператори.

Използват се различни методи за прецизиране на заявките за търсене.филтри . Филтрите се наричат онези или други спомагателни средства за компилиране на заявка, които не са свързани със съдържанието на условията на заявката, но ограничават резултатите от търсенето до някакъв формален знак. Така например, когато се прилага филтър за типове файлове при търсене, потребителят не предоставя на системата информация, свързана с предмета на заявката му, а просто ограничава получените резултати до конкретен тип файл, посочен в условието на заявката му.

За повечето потребители универсалните търсачки са основното и често единственото средство за търсене в Интернет. Те предлагат добро покритие на източниците, както и набор от инструменти, достатъчни за основни задачи за търсене.

Пазарът на универсални търсачки е доста голям. Опитахме се да анализираме най-известните търсачки и резултатите са представени под формата на таблица 1.

При избора на универсална търсачка важна роля играе качеството на ресурсите, намерени с нейна помощ. Можете да определите предпочитаната търсачка за конкретни задачи, като използвате „метода на маркера“. Същността му се състои в това, че първо се съставя определена тематична заявка за търсене, след което се анкетира група от хора - експерти в тази област, за да се идентифицират най-добрите, според тях, интернет ресурси по избраната тема. Въз основа на данните от проучването се формира списък с маркерни сайтове, които гарантирано отговарят на заявката и съдържат висококачествена информация. След това заявката се изпраща до тестваните търсачки. Логиката на оценката е проста: колкото по-високо са разположени маркерните сайтове в резултатите от търсенето, толкова по-добре даден ресурс е подходящ за намиране на информация по тестова тема.

Намирането на правилната и актуална информация в интернет понякога е много трудно. Количеството информационен боклук в мрежата расте като снежна топка и понякога е просто невъзможно да стигнете до данните, от които наистина се нуждаете, като използвате традиционните Yandex и Google. Книгата, която държите в ръцете си ще повиши многократно ефективността на вашето търсене на информация в Интернет. Описва техники, сайтове за търсене и програми за специализирано извличане на информация. Разглеждат се съвременни разновидности на интернет търсене: универсално търсене, вертикално търсене, системи за метатърсене, изграждане на персонални търсачки, търсене на аудиовизуално съдържание, търсене по скрит интернет. За всички разгледани системи са дадени техните характеристики и съвети за най-ефективно използване.

Въведение

Търсенето в интернет е важен елемент от работата в мрежата. Точният брой уеб ресурси на съвременния Интернет едва ли е известен със сигурност на никого. Така или иначе сметката отива в милиарди. За да можете да използвате информацията, която ви е необходима в този конкретен момент, независимо дали за бизнес или развлекателни цели, първо трябва да я намерите в този непрекъснато попълван океан от ресурси. Това никак не е лесна задача, тъй като информацията в съвременната мрежа не е структурирана, което създава проблеми при намирането й. Неслучайни своеобразни „прозорци“ в това информационно пространствоИнтернет търсачките станаха.

Малко вероятно е сред интернет потребителите да има хора, които никога не са използвали големи универсални търсачки. Имената Google, Yandex и няколко други големи машини са на устните на всички. Те се справят отлично с ежедневните задачи за търсене в интернет и често потребителите дори не се опитват да им търсят заместител. В същото време броят на интернет търсачките в наше време е хиляди. Причини за това разнообразие алтернативни машиниимат различни корени. Някои проекти се опитват да се конкурират директно с лидерите на световния пазар чрез внимателна работа с национални интернет ресурси. Други предлагат функции за заявки, които не се намират в утвърдени търсачки. Значителен брой алтернативни машини са специализирани в търсене на определена предметна област или определен тип съдържание, постигайки впечатляващи резултати при решаването на тези проблеми. Както и да е, включването на такива търсачки в собствения арсенал на потребителя от инструменти за търсене в Интернет може значително да подобри качеството му. Тук обаче има един нюанс: трябва да знаете за такива машини и да можете да използвате техните възможности.

Предполагаме, че читателите на тази книга вече са доста запознати с техниката на търсене с помощта на универсални търсачки. Толкова добри, че усетиха ограниченията, свързани с употребата им. Най-вероятно такива хора вече са се опитали да търсят и прилагат определени допълнителни инструменти. Печатното слово не заобикаля темата за търсене в Интернет: периодично се появяват както статии, така и книги. Но героите, които имат, като правило, са едни и същи - няколко водещи универсални търсачки. Нашата книга е различна по това, че се опитва да покрие пълния набор от съвременни решения за търсене. Тук ще намерите описания и препоръки за използване на най-добрите съвременни услуги, фокусирани върху решаването на най-често срещаните задачи за търсене. Тази книга е за хора, които работят много в интернет и използват мрежата, за да намерят информацията, от която се нуждаят - независимо дали става въпрос за бизнес, обучение или хоби.

За да бъде успешно търсенето в Интернет, трябва да са изпълнени две условия: заявките да са добре формулирани и да се задават на подходящи места. С други думи, от една страна, от потребителя се изисква да може да преведе своите интереси за търсене на езика на заявката за търсене, а от друга страна, добро познаване на търсачките, наличните инструменти за търсене, техните предимства и недостатъци, които ще позволят да се изберат най-подходящите инструменти за търсене във всеки конкретен случай.

Глава 1

Универсални интернет търсачки

Универсалните интернет търсачки са основното и най-известно средство за търсене в интернет. Такива търсачки осигуряват максимално покритие на различни ресурси. Това е универсалният тип, който включва най-големите и популярни търсачки. Това са наистина мощни решения. голяма сумафункции и инструменти, за които много потребители често не знаят. Разбирането на характеристиките и възможностите на универсалното търсене ви позволява да разберете силните и слабите страни на такива системи и съзнателно да изберете най-ефективните инструменти за търсене.

Пазарът на универсални търсачки е доста голям. В тази глава ще разгледаме само най-мощните машини, които могат адекватно да работят със заявки на руски език. Главата започва с истории за лидерите на руското търсене - системите Google.ru и Yandex. За всяка от тези търсачки са написани книги и много статии. Ще се съсредоточим върху основните характеристики, които имат значение за крайния потребител и ще се опитаме да идентифицираме техните силни страни.

Те са придружени от нова разработка за търсене от Microsoft Corporation - системата Bing, която досега беше забележимо лишена от внимание, както и полезна и доста мощна търсачка Exalead, чието предимство е добра поддръжка за търсене в европейски интернет ресурси . Тази система- все още е рядък гост в арсенала за търсене на нашите потребители, така че се разглежда по-подробно от останалите.

В тази глава, когато разглеждаме системите на Google и Yandex, ще се съсредоточим само върху възможностите за търсене в мрежата, а търсенето в специализирани бази данни на тези проекти се разглежда в следващите глави за търсене на изображения и видео. За други универсални търсачки информация за мултимедийно търсене се дава веднага след запознаване с тях.

Тъй като трима от четиримата герои на тази глава са от чужд произход, веднага отбелязваме, че анализираме само възможностите на техните руски версии. Факт е, че някои функции на чужди системи, особено експериментални, често са достъпни само в оригиналните, като правило, англоезични версии на услугите.

Google

Търсачката Google заслужено се счита за световен лидер в съвременното интернет търсене. Основана през 1998 г., Google остава един от водещите създатели на тенденции в интернет търсенето и уеб услугите и до днес.

Разработчиците на Google винаги са се отличавали с повишено внимание към подобряването на алгоритмите на тяхната търсачка, както и разумен консерватизъм в областта на потребителския интерфейс. Възможностите за съставяне на заявка в Google могат да се нарекат класически, а начините за показване на резултатите от търсенето също се превърнаха в един вид стандарт. Наскоро разработчиците на Google направиха големи промени в тези области - най-голямата търсачка започна да изглежда твърде старомодна на фона на младите конкуренти.

Google разполага с една от най-големите индексни бази в света, която предоставя широко покритие на източници на информация. Информацията за индекса на Google е обобщена в няколко вертикални бази. В допълнение към най-известната уеб база данни, има няколко мултимедийни бази данни (снимки, видеоклипове), които работят с източници на подходяща информация и съобщения в RSS канали, базата данни за новини, както и базата данни за блогове, която индексира мрежовите дневници. Освен това Google предлага широка гама от допълнителни ресурси, сред които си струва да се отбележи услуга за карти, директория със сайтове и услуга за въпроси и отговори. Тези ресурси могат да се разглеждат и като инструменти за търсене.

В уеб базата за компилиране Google заявкапредлага прости и разширени режими на търсене. В режим на просто търсене от допълнителни инструменти е достъпна само виртуалната клавиатура. Разширеното търсене предлага повече опции. Тъй като формата за разширено търсене е достъпна в почти всички продукти за търсене на Google, нека се спрем на нея по-подробно (фиг. 1.1).

Яндекс

Официално представена на широката публика през 1997 г., търсачката Yandex се развива успешно и десет години по-късно за първи път е сред десетте най-големи търсачки в света. В руския сегмент на Интернет той постигна водеща позиция, която няма да се откаже, въпреки нарастващата конкуренция. Отличителни черти на Yandex от началото на неговото съществуване са собствените му оригинални алгоритми за определяне на уместността на резултатите от търсенето, гъвкави инструменти за работа с текст на заявка и отчитане на особеностите на морфологията на руския език при обработката им.

Yandex разчита на собствените си индексни бази данни. В допълнение към търсенето в уеб документи, системата предлага добър избор от специализирани ресурси и допълнителни услуги. В момента Yandex работи с изображения, видеоклипове, новини, блогове и речници. Мощни възможности за търсене също са вградени в нашата собствена картографска услуга и в системата за търсене на продукти. Освен това Yandex поддържа свой собствен каталог от уебсайтове. Силна страна Yandex е разработена програма за локално търсене, което е особено важно за нашите потребители. Yandex предоставя достъп до своите бази данни на разработчици на трети страни. В резултат на това много руски проекти за алтернативно търсене в Интернет използват ресурсите на Yandex по един или друг начин. В допълнение към обичайната система за търсене се предлага и съкратена версия на Yandex, достъпна на ya.ru. Интерфейсът на тази версия се състои само от поле за въвеждане на заявка и бутон за стартиране на търсенето.

Търсенето на уеб документи предлага както прости, така и разширени режими на търсене. Простото търсене не предоставя никакви филтри, което се компенсира от възможността за автоматично анализиране на заявки на естествен език, уверена обработка на относително дълги заявки, както и система за автоматично допълване на заявки. Максималната дължина на заявката е четиридесет думи.

Формата за разширено търсене за съставяне на заявка предлага само едно поле. Логическите оператори, свързващи думите за заявка, се препоръчва да се въвеждат ръчно, добре. Yandex има доста подробен език за заявки. Останалите инструменти за формуляри за разширено търсене са различни филтри (1.4).

Bing

Историята на търсенето в Интернет от Microsoft не е лесна за извикване. Услугите, последователно предлагани на обществеността, многократно променят алгоритмите, използваните бази данни и, разбира се, имената. До началото на 2000-те години търсачката не разполагаше със собствени бази данни и работеше с външни индекси от AltaVista, Inktomi и Looksmart. Оригиналното име MSN Search се използва до 2006 г., а след това за няколко години смяната на имената на търсачката се превърна в традиция за Microsoft.

Заедно с окончателния преход към търсене в собствените си индекси, MSN Search беше преименуван първо на Windows LiveLive Search. И накрая, в началото на лятото на 2009 г. Live Search беше заменено от новия проект за търсене Bing.

„Bing ще предостави различен начин за разглеждане на информацията в интернет и ще помогне на потребителите да вземат важни решения“, с такова изявление започва прессъобщението на Microsoft за пускането на Bing. Стремежите на разработчиците бяха разбираеми: търсачките на Microsoft, въпреки всички усилия, на Запад постоянно отстъпваха по популярност на лидерите - Google и Yahoo!. Ако говорим за рускоезичните версии на предишни проекти за търсене на Microsoft, тогава по отношение на броя и качеството на намерените връзки те са много по-ниски от големите руски търсачки. В опит да настигнат конкурентите, разработчиците на Bing разчитат на подобряване на качеството на търсенето и въвеждането на нови технологии, много от които са придобити заедно с фирмите, които са ги създали.

Трябва да се отбележи, че руската версия на Bing, както и повечето други локализирани версии, няма редица допълнителни функции, като например търсене при пазаруване. Тъй като те всъщност работят само на север. Америка, няма смисъл да се спираме подробно на тях.

Exalead

Една от характеристиките на Европа, включително в областта на търсенето в интернет, е голям бройнационални езици. Една търсачка, която претендира да бъде лидер в Европа, просто трябва да индексира добре националните сегменти на Интернет и да обработва заявки на много европейски езици, както на най-големите, така и на по-рядко срещаните, с високо качество. Именно в тази област европейското развитие може да получи сериозно конкурентно предимство пред мощни отвъдморски конкуренти. В момента системата Exalead сериозно претендира за ролята на такава европейска търсачка. Този проекте разработена като част от изследователската програма Quaere, финансирана от Европейския съюз.

Exalead има свои собствени индексни бази данни. Основните ресурси за търсене на системата са бази данни с уеб документи, изображения, видео и новини. начална страница Exalead предлага възможност за персонализиране. На тази страница можете да поставите връзки към любимите си сайтове - те ще се показват като графични миниатюри-екранни снимки. Вярно е, че за това ще трябва да регистрирате акаунт безплатно, както и да разрешите на браузъра да съхранява бисквитки Exalead.

Exalead Web Search предлага прости и разширени режими на търсене. Формулярът за разширено търсене, подобно на Bing, се отваря директно на страницата на проблема Обърнете внимание, че Exalead предлага не само позната форма с набор от допълнителни полета, но сложно падащо меню, което действа като съветник за прецизиране на заявката (фиг. 1.7). Когато изберете един или друг елемент в менюто на съветника, към низа на заявката се добавят нови елементи и, ако е необходимо, оператори и специални знаци.

Алексей Кутовенко

Професионално търсене в мрежата

Въведение

Търсенето в интернет е важен елемент от работата в мрежата. Точният брой уеб ресурси на съвременния Интернет едва ли е известен със сигурност на никого. Така или иначе сметката отива в милиарди. За да можете да използвате информацията, която ви е необходима в този конкретен момент, независимо дали за бизнес или развлекателни цели, първо трябва да я намерите в този непрекъснато попълван океан от ресурси. Това никак не е лесна задача, тъй като информацията в съвременната мрежа не е структурирана, което създава проблеми при намирането й. Неслучайно интернет търсачките се превърнаха в своеобразни „прозорци“ в това информационно пространство.

Малко вероятно е сред интернет потребителите да има хора, които никога не са използвали големи универсални търсачки. Имената Google, Yandex и няколко други големи машини са на устните на всички. Те се справят отлично с ежедневните задачи за търсене в интернет и често потребителите дори не се опитват да им търсят заместител. В същото време броят на интернет търсачките в наше време е хиляди. Причините за такова разнообразие от алтернативни машини имат различни корени. Някои проекти се опитват да се конкурират директно с лидерите на световния пазар чрез внимателна работа с национални интернет ресурси. Други предлагат функции за заявки, които не се намират в утвърдени търсачки. Значителен брой алтернативни машини са специализирани в търсене на определена предметна област или определен тип съдържание, постигайки впечатляващи резултати при решаването на тези проблеми. Както и да е, включването на такива търсачки в собствения арсенал на потребителя от инструменти за търсене в Интернет може значително да подобри качеството му. Тук обаче има един нюанс: трябва да знаете за такива машини и да можете да използвате техните възможности.

За да бъде успешно търсенето в Интернет, трябва да са изпълнени две условия: заявките да са добре формулирани и да се задават на подходящи места. С други думи, от една страна, от потребителя се изисква да може да преведе своите интереси за търсене на езика на заявката за търсене, а от друга страна, добро познаване на търсачките, наличните инструменти за търсене, техните предимства и недостатъци, които ще позволят да се изберат най-подходящите инструменти за търсене във всеки конкретен случай.

Има много налични инструменти за търсене. Те могат да бъдат обединени в няколко групи, всяка от които има определени предимства и недостатъци. Главите на нашата книга са посветени на основните групи съвременни интернет търсачки.

Глава 1, "Универсални интернет търсачки", се фокусира върху основните универсални търсачки в мрежата. Основният акцент е върху най-съвременните им инструменти, които обикновено изпадат в полезрението на широката публика. Прегледът на възможностите на познатите машини ни дава вид отправна точка и ни позволява ясно да разберем обхвата на алтернативните решения за търсене.

Глава 2, „Вертикално търсене“, говори за системи, които са специализирани в специфични предметни области или специфични видове съдържание.

Глава 3, "Метатърсене", обсъжда машини за метатърсене, които могат да изпращат заявка едновременно до няколко интернет търсачки и след това да събират и обработват резултатите в един интерфейс.

Глава 4, „Семантични и визуални интернет търсачки“ е преглед на експериментални системи, които предлагат оригинални потребителски интерфейси, както и интересни подходи за обработка на заявки.

Глава 5, „Машини за препоръчване“, разглежда последните търсачки, уместно наречени „Машини за откриване“ на английски. С тяхна помощ можете да обработвате редица заявки, които са "твърде трудни" за други видове интернет търсачки.

Ако нито един готов продукт не ви подхожда, можете да създадете своя собствена интернет търсачка. Глава 6, "Лични търсачки", е посветена на създаването на такива персонални машини.

Няколко глави от нашата книга са посветени на търсенето на различни видове мрежово съдържание. Глава 7, „Търсене на изображения“, описва текущите тенденции в търсенето на изображения в Интернет, както и възможностите на свързаните експериментални системи. Глава 8, "Търсене на видео" предоставя преглед на инструментите за видео търсене на водещите универсални интернет търсачки, както и на най-добрите специализирани системи в тази област.

Глава 9, „Търсене на „скрито“ съдържание,“ е преглед на системите, които ви позволяват да търсите съдържание, което „не се вижда“ от търсачките с общо предназначение. Такова "скрито" съдържание включва например торенти или файлове, хоствани на FTP сървъри и хостинг на файлове.

Глава 10, „Търсене на Web 3.0,“ говори за уеб базирани търсения на данни във формати на семантичен уеб.

Търсенето не завършва с просто получаване на резултати от една или друга търсачка. Последната глава на нашата книга е посветена на инструменти за обработка и запазване на резултати - Глава 11, „Помощни програми“.

Преди да започнете история за конкретни продукти, има смисъл да разберете класификацията модерни средстваТърсене в Интернет, както и определяне на термините, които постоянно се срещат на страниците на нашата книга.

Основните средства за търсене в Интернет могат да бъдат разделени на следните основни групи:

търсачки;

Уеб директории;

Справочни ресурси;

Локални програми за търсене в интернет.

Най-популярното средство за търсене са търсачките - така наречените интернет търсачки (Search Engines). Тримата лидери в световен мащаб са доста стабилни - това са Google, Yahoo! и Bing. Много страни добавят свои собствени локални търсачки, оптимизирани за местно съдържание към този списък. С тяхна помощ, теоретично, можете да намерите всяка конкретна дума на страниците на много милиони сайтове.

Въпреки многото различия, всички интернет търсачки работят на сходни принципи и от техническа гледна точка се състоят от подобни подсистеми.

Първата структурна част на търсачката са специални програми, използвани за автоматично търсене и последващо индексиране на уеб страници. Такива програми обикновено се наричат паяци или ботове. Те разглеждат кода на уеб страниците, намират връзки, разположени върху тях, и по този начин откриват нови уеб страници. Има алтернативен начин за включване на сайт в индекса. Много търсачки предлагат на собствениците на ресурси възможност сами да добавят сайт към своята база данни. Както и да е, тогава уеб страниците се изтеглят, анализират и индексират. В тях се подчертават структурни елементи, намират се ключови думи, определят се връзките им с други сайтове и уеб страници. Извършват се и други операции, резултатът от които е формирането на индексната база на търсачката. Тази база е вторият основен елемент на всяка търсачка. Понастоящем няма една абсолютно пълна индексна база данни, която да съдържа информация за цялото съдържание на Интернет. Тъй като различните търсачки използват различни програми за търсене на уеб страници и изграждат своя индекс с помощта на различни алгоритми, базите на индексите на търсачките могат да варират значително. Някои сайтове се индексират от няколко търсачки, но винаги има определен процент ресурси, включени в базата данни само на една търсачка. Фактът, че всяка търсачка има такава оригинална и незастъпваща се част от индекса, ви позволява да направите важен практически извод: ако използвате само една търсачка, дори и най-голямата, определено ще загубите определен процент полезни връзки .