Файлове за търсене в Интернет. Търсене на документи и данни в Интернет

(Ю.А. ШАФРИН, в. Информатика, бр. 9 2009 г.)

1. Постановка на проблема

Търсенето на информация в интернет е крайно неопределено понятие: поради безкрайното разнообразие от материали в мрежата, както по съдържание, по форма на представяне, така и по структура структури от данни).

Следователно целите, методите и формите на търсене на информация (данни) могат да бъдат много различни. За да не занимаваме вниманието ви с общи думи, ще дадем няколко конкретни примера.

1. Да приемем, че искате да намерите всички материали в Интернет за конкретен човек по неговото фамилно име. Това фамилно име може просто да бъде въведено като заявка в полето за въвеждане на всяка търсачка, например "Rambler" (така се произнася името в компанията). Резултатите от търсенето ще зависят изцяло от това колко разпространено е това фамилно име в обществото и от популярността на този човек (точно популярност, а не мащаб!). Например, ако въведете Ferdyshchenko, можете да се надявате на успех или ще намерите нещо, или не сте чували нищо за такъв човек в Интернет. Друг пример: нека лицето, което търсите, има фамилно име Кулик. Ако го напишете в полето за търсене, ще получите хиляди документи с Игор, Андрей и т.н. Кулики, с Куликови, Куликовски и др. Ако, за ваше щастие, името на вашия Кулик е, да речем, Никифор (рядко срещано име), тогава заявката за Никифор&Кулик ще увеличи драстично шансовете ви за успех. Следователно формулираната заявка трябва да дефинира възможно най-тесния обхват на търсенето. Омонимите трябва да се третират особено внимателно. Например искате да получите информация за химичен елементбор Въвеждането на тази дума в полето за търсене е безполезно, тъй като бор е свредло, иглолистна гора, елемент, физик Бор. Ако въведете заявката Element&boron, областта за търсене ще се стесни драстично.

2. Да предположим, че се интересувате от някаква тема (заглавие). В този случай може да не се нуждаете от език за заявки и търсене по ключови думи. Ако имате елементарен опит, интуиция, тогава, започвайки с повече или по-малко обща тема (например "Наука и образование" на фиг. 1 на стр. 34) и използвайки хипервръзки, можете да стигнете до документите, от които се нуждаете (за например, първо "Резюмета", след това "Колекции от резюмета, курсови работи, дипломи" и др.). С известна степен на сигурност може да се твърди, че като цяло търсенето в интернет е по-скоро изкуство, опит, хоризонти и интуиция на клиента, отколкото използването на инструменти на браузъра и търсачки. Трябва да се направи ясно разграничение между различните механизми за търсене в интернет, описани в статията:

1) търсене на документи по ключови думи с помощта на универсални търсачки;

2) специализирано търсене (например хора);

3) търсене на текущата (показана) страница.

Последният механизъм от своя страна е разделен на два вида - контекстно търсене на текстови фрагменти на страница и търсене в структурирани бази данни на сайта, представен от тази страница (продукти, свободни работни места, услуги, фирми и др.).

2. Обща информация

Световната мрежа в Интернет е милиони документи с неструктурирантекстова информация (както и графики, аудио, видео). За да намери необходимата информация, уеб клиентът често трябва да премине през стотици уеб страници (понякога без особен успех), да похарчи много усилия и нерви (както и пари).

От началото на 90-те години се наблюдава интензивно развитие справкауслуги. Интернет услуги, които помагат на потребителите да намерят информацията, от която се нуждаят, и тези услуги могат да бъдат разделени на две категории: универсални и специализирани.

IN универсаленуслуги използва обичайния принцип на търсене в неструктурирани документи - по ключови думи.

Ключовата дума за документ е една дума или фраза, която по някакъв начин отразява съдържанието на документа.

Например литературата по програмиране се характеризира с ключовите думи "Условно разклоняване", "Макро", "Обработка на прекъсване" и т.н.

Универсален услуга за търсене ( система за търсене) е набор от програми и мощни компютри, който изпълнява следните функции.

1. Специален програма- Търсене робот- непрекъснато разглежда страниците на световната мрежа, избира ключови думии изгражда база данни индекси. Тази база данни включва ключови думи и адреси на документи, в които се намират тези думи. Използвайки връзки към други документи, роботът "изтегля" тези страници, намира връзки в тях и така нататък, докато заобиколи целия раздел на мрежата, който го интересува. Когато роботът на търсачката дойде уебсайт(например на www.rambler.ru), той първо проверява дали има сервизен файл в главната директория на сайта robots.txt(в нашия пример www.rambler.com en/robots.txt- името на робота се изписва с малки букви!). Ако роботът открие този документ, всички по-нататъшни действия за индексиране на сайта се извършват в съответствие с инструкциите robots.txt

2. Уеб сървърът получава от потребителя исканекъм търсенето, трансформира го и преминава специална програма - търсачка.

3. Търсачката сканира базата данни с индекси, съставя списък от страници, които отговарят на условията на заявката (по-точно списък с връзки към тези страници) и го връща на уеб сървъра.

4. Уеб сървърът форматира резултатите от заявката в удобна за потребителя форма и ги изпраща на клиентската машина.

Специализиран помощни услугиса тематични каталози (предметни каталози), които съдържат повече или по-малко структуриранинтелигентност относно адреситесървъри по определена тема. За разлика от универсалните индексни бази данни, тематичните каталози се съставят от специалисти и предоставят на клиента по-строга, надеждна и систематизирана информация за документите в мрежата. Нивото на "боклук" в тези директории е много по-ниско, отколкото в автоматично компилираните индекси, но те се актуализират много по-бавно. Преди това търсачките бяха разделени на универсални (с индексни бази данни) и "хибридни" (индексни бази данни и тематично търсене). Подобна класификация е до известна степен остаряла: днес повечето търсачки могат да се считат за "хибридни" - те търсят както в индексни бази данни, така и по предметни рубрики. Ето малък списък с най-известните търсачки днес, с техните URL адреси на началната страница:

• MSN уеб търсене http://search.msn.com(търсачка на услуги msn);
• вълнувам- www.excite.com;
• Yahoo! - www.yahoo.com;
• infoseek- www.infoseek.com;
• ликос- www.lycos.com;
• ликос- www.whowhere.lycos.com;
• Алта-Виста- http://altavista.com;
• Google- www.google.ru;
• Рамблер ("Rambler") - www.rambler.ru;
• Апорт ("Апорт") - http://aport.ru;
• Yandex ("Yandex" или "Yaps1ex") - www.yandex.ru.

Имайте предвид, че сред руските потребители рускоезичните системи Google, Yandex, Rambler и Aport в момента са най-популярни. Почти всички страници с възможност за търсене имат бутон за помощ. Щракнете върху него и отпечатайте системното ръководство.

3. Интегрирана търсачка на Microsoft

Като цяло, за да започнете търсене, можете да се обадите на една от търсачките или на някоя от познатите ви тематични директории. Въпреки това, разработчиците Internet Explorerза удобство на клиента най-често се вграждат в следваща версияособен интерфейс на браузъра с включени любими този моменттърсачки. Самият Internet Explorer не се занимава с търсене: той получава заявка от потребителя, обработва я и я предава на съответната търсачка.

Кликнете върху бутона на лентата с инструменти на браузъра Търсене.

В панела за търсене в полето за въвеждане въведете заявка (логически израз) и щракнете върху бутона Търсене(В различни системи - Търсене, намиране!, търсене). След известно време под полето за въвеждане се появява списък с хипервръзки към документи, които отговарят на въведената заявка. Когато задържите курсора на мишката върху хипервръзка, обикновено ще се появи подсказка (или резюме на този документ, или само неговия URL адрес). С едно кликване на мишката можете да отворите всеки документ.

Ширината на лентата за търсене може да се промени чрез плъзгане на дясната й граница с мишката.

4. Общи механизми за търсене в Интернет

Така че, когато търсите по ключови думи (в индексни бази данни), въвеждате в полето за въвеждане заявка, която е логически израз, който е формулиран според синтаксисните правила даденотърсачка.

Методите за търсене на необходимите данни в необятния океан от интернет ресурси могат да бъдат разделени на три групи:

• "интуитивно-евристични" техники, базирани на ерудиция, опит, мироглед и интуиция на потребителя;
• използване сървъри за търсене, които предоставят до известна степен формални (инструментални) механизми за търсене на ключови думи;
• търсене в тематични (категоризирани) каталози.

1. Евристика.Роля исканев конкретен случай може да играе една дума (напр. Аджика). И тази дума може да играе ролята на отправна точка, тръгвайки от която не само ще стигнете до конкретно информация, но и да получите много полезна информация за обектипряко или косвено свързани с вашата задача. Тази тактика осигурява много ефективно индиректно търсене, ако е трудно да се постигне нещо "на челото". Нека дадем няколко примера.

1) Да предположим, че сте въвели някакво рядко, но известно фамилно име като заявка, например, Кторов(А. П. Кторов (1898-1980) - великият актьор на Московския художествен театър). В този случай със сигурност ще получите не само информацияза Кторов, но и много интересни документипряко свързани с театъра, със сценичните и драматични изкуства. Започвайки от издадения регистър, можете например да намерите актьори с общо име (например B.A. Smirnova) или библиография на редки книги за театъра.

2) Въведете думата "Хладилник" и ще бъдете отведени до много видим кръг от данни, свързани с домакински уреди: в онлайн магазини, продаващи не само хладилници, но и други стоки за дома, получете информация за дизайна на модулите, техните потребителски свойства, цени, фирми производители и др.

3) Въведете „Ajika“ (хранителен продукт) и ще можете да проучите тонове материали за рецепти, готварски книги и може би дори известни кулинарни ентусиасти.

4) Думата "Avisan" (лекарство) почти сигурно ще ви отведе до лекарството, което търсите; по пътя ще ви даде възможност да стигнете до болестите, техните симптоми, препоръки за лечение. Вероятно ще бъде още по-ценно за вас да получите достъп до много много полезни медицински сайтове - например универсалния сайт за аптеки в Москва http://apteka.mos.ru, където можете да проучите цените и заместителите на лекарствата, да намерите други лекарства, за които вече сте мислили, но чието намиране ще изисква допълнителни усилия.

Както вече споменахме, при този подход ефективността на търсенето в мрежата до голяма степен зависи от опита и възгледите на потребителя. Когато търсите материали по определена тема, никога не трябва да разчитате на „интелигентността“ на машината: вие сами трябва да вземете предвид особеностите на лексикона на специалистите по тази тема, възможните комбинации от термини и т.н.

2. Езици за заявки.В основата на заявките за търсене и извличане на информация е апаратът алгебра на логиката. Като пример, разгледайте елементите на езика за заявки на търсачката Yandex, използван за строго търсене в индекса бази данни. По същество това е синтаксисът булеви изрази , и се различава малко от синтаксиса на други рускоезични системи (например Rambler и Aport). За да търсите документи, съдържащи определена дума, въведете я в полето за търсене и щракнете върху бутона намирам. Областта на търсене може да бъде стеснена: Новини, продукти, енциклопедии(съставът на тези бутони, както и изгледът начална страница , може да се промени). Ако заявката съдържа няколко думи, трябва да се спазват следните правила:

1) логическо И (И) - търсене на комбинация в рамките на изречение: естествена коприна (разделител - интервал) или естествена&коприна;

2) логическо И (И) - търсене на комбинация в рамките на документа: natural&&silk;

3) търсене на фразата - "Златният Орфей" (прави кавички!).

Освен това можете да търсите по разстоянието между дадените термини (посочени с думи или изречения), да търсите в заглавието, в текста на връзките, в описанието, в надписите на изображенията; търси връзки към даден URL (например #link="www.holm.ru*") и т.н. Yandex търси не само дадена дума, но и нейните словоформи. Например, ако посочите думата "вестник", тогава ще бъдат намерени документи, които съдържат думите "вестници", "вестник", "вестник" и т.н.

3. Тематично търсене.Тематичният рубрикатор на системата Yandex ви позволява да намерите много без помощта на логическата алгебра. Други системи за търсене (и не само търсене) имат същите заглавия (но с различно съдържание), например Rambler и Aport.

5.Специализирано търсене

Интернет технологиите се развиват бързо. Систематично се появяват нови инструменти за търсене. Оригиналната (и, очевидно, обещаваща) специализирана система за търсене се предлага от компанията Lycos: www.whowhere.lycos.com (буквално "Кой? Къде?").

Първо, можете да търсите името и фамилията на дадено лице по неговия имейл адрес, телефонен номер, уеб страници, които споменават това лице (падащ списък Тип търсене: (Тип търсене)). И обратно, можете да търсите човек по неговия имейл адрес или телефонен номер.

Второ, в основната част на прозореца има вид рубрикатор, с помощта на който можете да търсите хора от определен кръг, професия и т.н.:

• хора в сферата на развлеченията и хобита: режисьори, музиканти, спортисти;
• хора и пари: инвеститори, брокери, купувачи, длъжностни лица;
• хора "като теб" (споделящи твоите интереси, близки по възраст, мироглед, интелект и т.н.): жени, деца, семейства, пътници;
• хора, които могат да ви помогнат: консултанти за бъдещи професии, работодатели и др.

6.ICQ

Напоследък широка популярност придоби система за комуникация между хората, наречена ICQ (произношение "I seek you" - търся те). Системата работи с помощта на специален софтуер. На всеки адресат се присвоява индивидуален номер, който може да се въвежда тетрадкапотребител. Връзката се установява чрез избиране на съответния запис от бележника.

7. Търсете данни на показаната страница

Досега разглеждахме търсенето на неструктурирани Уеб документипо ключови думи в индексни бази данни, както и тематично търсене.

1. В същото време браузърът предоставя контекстно търсене на всички показани (текущи) страници.

За да направите това, изберете командата цяла думаИ Различаващ главни от малки букви.

2. Много сайтове и портали имат свои собствени структурирани бази данни, в които можете да търсите всеки раздел от базата данни (по темата на този сайт). Например на уебсайта на московската аптека http://apteka.mos.ruИма два механизма за такова търсене:

1) по азбучен ред: щракнете, да речем, върху буквата "P" и сайтът ви дава списък с всички лекарства с буквата "P";

2) в стандартното поле за търсене въвеждате името (напр. Avisan) и щракнете върху бутона намирам(или Търсене). Системата за търсене в сайта ще ви намери всички аптеки, в които има избраното лекарство, като посочи цени, адреси, телефони и начини за доставка. Механизмите за търсене (по-точно неговите подробности) могат да се променят на различни сайтове (включително на един и същи сайт), но е много лесно да ги разберете.

При търсене на много стоки, свободни позиции, услуги, фирми и др. (в йерархични структури) областта на търсене може постепенно (или веднага) да бъде стеснена чрез посочване в няколко полета за въвеждане, например модел на потребителски продукт, желана цена, град, възраст и много, много повече.

Накратко за основното

1. Интернет ресурсите съдържат почти цялата информация, натрупана от човечеството, а рубрикаторите на тази информация могат да бъдат намерени на много сайтове и във всички търсачки (например електронни библиотеки, отделни статии, музеи, театри и т.н. и т.н.).

2. За да търсите в Интернет, можете да използвате специални търсачки, които имат строги езици за заявки, базирани на логическа алгебра. В допълнение, тези системи и много сайтове, които не могат да се считат за търсачки, позволяват извършването на тематични и специализирани търсения. Сега в Runet най-популярните системи са Google, Yandex, Rambler, Aport и други.

3. Internet Explorer най-често има вградена търсачка, която ви позволява удобно да използвате услугите на търсачките.

4. Има различни специализирани системи за търсене (например хора в сферата на развлеченията и любими дейности: режисьори, музиканти, спортисти).

5. Браузърът предоставя възможност за контекстно търсене на всички показани (текущи) страници. За да направите това, изберете командата [Редактиране-Намерете на тази страница...]и в прозореца, който се показва, въведете желания текстов фрагмент. Разрешени са квадратчета за отметка цяла думаИ Различаващ главни от малки букви. Много сайтове имат вградени механизми за търсене по темата на този сайт (продукти по азбучен ред, свободни позиции и др.).

Първо, струва си да запомните, че всичко, което искате да намерите и изтеглите, може да бъде намерено абсолютно безплатно. В мрежата има много такива услуги, на които най-често се натъкват неопитни потребители - където трябва да платите за достъп до връзка за изтегляне, да изпратите SMS, да платите чрез Webmoney или по някакъв друг начин. Много често това се случва, когато търсите филм или програма. Тук се крие най-важното: ако има място, където можете да получите файла, от който се нуждаете срещу заплащане, почти винаги има място, където можете да получите същия файл безплатно. В тази статия ще разберем как правилно да търсим файлов хостинг.

Вие не сте първият човек, който се нуждае от този файл. Някой вече е изтеглил този файл, дори го е купил. И повече от 90% шанс повече от един човек да го е направил. Повече от 90% шанс някой от тях да е публикувал този файл някъде безплатно. Е, тъй като този файл е някъде в мрежата безплатно, остава само да го намерите.

Къде да търся необходимите файлове на първо място?

Как и къде да търся необходимите файлове (книги, софтуер, филми и др.)? Първо, трябва да знаете къде можете да го намерите, тоест имате нужда от място, където можете да качите файла. И погледни там. Това е всичко, елементарно.

Торенти.Сега за това къде да търсите. Много добро място, където можете да намерите почти всеки файл, който може да ви потрябва - торент тракери. Това е много интересно и полезно нещо, въпреки че има някои неудобства. Но за торентите в друга статия.

Хостинг на файлове.Второто място, където можете да получите това, от което се нуждаете, е файловият хостинг. Това са специализирани услуги, които позволяват на всеки потребител на мрежата да качва или изтегля файлове от там, както безплатно, така и срещу заплащане. И за това дори не е необходимо да се регистрирате никъде, ако използвате услуга за хостинг на файлове безплатно. Можете също да прочетете повече за споделянето на файлове в друга статия.

Файлов хостинг - хранилище на информация

И така, хостинг на файлове. Има много от тези услуги, но само няколко са най-популярните. Файлът, от който се нуждаете, може да лежи на всеки от тях, или само на някои, или на един от тях. И всичко зависи от популярността и полезността на файла. Да кажем, че един и същ филм може да се намери в различни версии, формати и размери, което ви е по-удобно. И дори да изтеглите от всяка услуга за хостинг на файлове, която ви харесва най-много, тъй като услугите за хостинг на файлове са различни една от друга - може да не харесате някои, но популярни файлове могат да бъдат намерени във всяка от тях.

Най-популярното споделяне на файлове

Кои са най-популярните услуги за споделяне на файлове (често наричани накратко FO)? Достатъчно е да знаете само имената им. Това са ifolder.ru, depositfiles.com, rapidshare.com, letitbit.net, narod.disk.ru, turbobit.net, hotfile.com. Тук фаворитите са първите четири от този списък. Първо трябва да се претърсят.

Как да намеря необходимия файл във FO?

Уловката е, че всички FD са от затворен тип, няма инструменти за търсене за тях. Всеки потребител, който качи файл там, получава връзка, от която можете да изтеглите този файл. Затова нашата цел е да намерим такива връзки в Интернет. Защото, ако някой е качил някъде определен файл, това означава, че е оставил линк към този файл някъде. И най-често това се прави, за да се печелят пари, тъй като услугата за хостинг на файлове ви плаща определена сума, в зависимост от условията, ако някой изтегли вашия файл. В същото време изтеглянето за програмата за изтегляне най-често се извършва безплатно, макар и с известно изчакване (обикновено около минута) и гледане на реклами. Това също е много голяма тема, има цяла индустрия и система за печелене на пари от хостинг на файлове.

Така че трябва да намерите място, където могат да бъдат намерени тези връзки. Има много такива места. Всъщност връзката към файла, от който се нуждаете, може да бъде навсякъде, но най-често това са различни форуми и специални сайтове, наречени warezniks (warez - софтуер, от softWARE). Тези сайтове са колекции от връзки към файлове. Може би вече сте виждали такива сайтове. Някои от тях изискват да се регистрирате, за да видите връзката към файла, който ви трябва, но отново не ни трябва. Ако има място, където се изисква регистрация, за да видите връзката, много вероятно е същата връзка да съществува някъде и то на място, където не се изисква регистрация. Същият принцип като при платените услуги. Трябва само да се регистрирате на последна инстанцияако не можете да намерите тази връзка никъде другаде.

И накрая, самият алгоритъм за търсене, който е невероятно прост. Търсачката е система, която разбира само текст. Връзките са текстови. За да може да ни ги намери. Ние вземаме името на вашия файл (книга, филм, музикална композиция, програма) и го въвеждаме в търсачката Google низ. Ако се опитате да търсите по този начин, най-вероятно Google ще ви даде такива места, откъдето ще ви е неудобно да изтегляте, това ще бъдат преди всичко сайтове, където трябва да плащате за изтегляне, тъй като такива сайтове са специално оптимизиран да бъде първи в резултатите от търсенето. Това, което ще ви трябва при издаването на търсачката, далеч не е на първа страница. Така че ние просто добавяме името на услугата за споделяне на файлове към вашата заявка. Тоест вашата заявка вече ще изглежда така: „заявка + хостинг на файлове“.

Как да направя заявка в търсачката?

Да кажем, че имам нужда от филм, наречен "Вася Пюпкин - герой от войната". И искам да го изтегля от услугата за хостване на файлове letitbit.net. Така че ще задам заявката "Вася Пъпкин - герой от войната + letitbit". (Трябва да се отбележи, че в реда Търсене в Googleтази заявка ще бъде без кавички, защото там кавичките имат специално значение и нищо няма да бъде намерено за такава заявка.) Тук, в резултатите от тази заявка ще намерите това, от което се нуждаете, на първата страница от резултатите от търсенето. Ако, разбира се, такава връзка съществува и е индексирана от Google, но не трябва да се притеснявате за това: ако не я намери, нищо няма да я намери.

Сега, ако трябва да търсите в няколко сайта за споделяне на файлове едновременно, тогава можем да създадем заявка като тази:

вашата заявка+”file host1″|”file host2″|”file host3″

Тук кавичките играят такава роля, че това, което е в кавички, трябва да присъства на страницата, която търсите, в този случай връзка към услуга за хостване на файлове. Вертикалната наклонена черта означава "или", тоест едно от тези три. Да кажем, че искам да търся „Вася Пъпкин“ в няколко от най-популярните услуги за споделяне на файлове, което означава, че заявката ми ще бъде следната:

Вася Пупкин е герой от войната+»ifolder.ru»|»letitbit.net»|»rapidshare.com»|»depositfiles.com»|»narod.disk.ru»

Между другото, има услуги, които ви позволяват да търсите услуги за хостинг на файлове, но те не използват нищо ново - същият алгоритъм, същият Google. Защо са ви необходими, ако можете да зададете заявка директно в лентата за търсене на вашия браузър.

Това всъщност е целият трик, такова търсене ви позволява да намерите и изтеглите това, от което се нуждаете, за секунди.

Понякога се случва да искате да изтеглите безплатен музикален албум от 2007 г., издаден от изпълнител, който познава трима души и половина. Намираш торент файл, пускаш го, изтеглянето достига 14.7% и ... готово. Минават дни и седмици, а изтеглянето спира. Започвате да търсите албума в Google, да ровите във форумите и най-накрая да намерите връзки към някои сайтове за хостване на файлове, но те не работят от дълго време.

Това се случва все по-често - притежателите на авторски права постоянно затварят полезни ресурси. И ако популярното съдържание все още не е проблем за намиране, намирането на седемгодишен телевизионен сериал на испански може да бъде изключително трудно.

Каквото и да имате нужда в Интернет, има няколко начина да го намерите. Предлагаме всички изброени по-долу опции единствено за запознаване със съдържанието, но в никакъв случай за кражба.

usenet

Usenet е разпределена мрежа от сървъри, между които се синхронизират данни. Структурата на Usenet наподобява хибрид на форум и електронна поща. Потребителите могат да се свързват със специални групи (Newsgroups), да четат или пишат нещо в тях. Както при пощата, съобщенията имат тема, която помага да се определи темата на групата. Днес Usenet се използва най-вече за споделяне на файлове.

До 2008 г. големите доставчици на Usenet съхраняваха файлове само за 100-150 дни, но след това файловете започнаха да се съхраняват завинаги. По-малките доставчици оставят съдържание за 1000 дни или повече, което често е достатъчно.

Около средата на 2001 г. притежателите на авторски права започнаха да обръщат внимание на Usenet, принуждавайки доставчиците да премахват защитено с авторски права съдържание. Но ентусиастите бързо намериха решение: започнаха да дават на файловете объркващи имена, да защитават архивите с пароли и да ги добавят към специални сайтове, достъпни само с покана.

В Русия почти никой не знае за съществуването на Usenet, което не може да се каже за страни, където властите усърдно се борят с пиратството. За разлика от протокола BitTorrent, в Usenet е невъзможно да се определи IP адреса на потребителя без помощта на доставчик на услуги или доставчик на интернет услуги.

Как да се свържете с Usenet

В повечето случаи няма да можете да се свържете безплатно. Ще трябва да се задоволите или с малко време за съхранение на файлове, или с ниска скорост, или с достъп само до текстови групи.

Доставчиците предлагат два вида платен достъп: месечен абонамент с неограничено количество изтеглени данни или ограничени във времето тарифи с ограничен трафик. Вторият вариант е за тези, които само от време на време трябва да изтеглят нещо. Най-големите доставчици на такива услуги са Altopia, Giganews, Eweka, NewsHosting, Astraweb.

Сега трябва да разберете откъде да получите NZB файлове с мета информация - нещо като торент файлове. За това се използват специални търсачки - индексатори.

Индексатори

Публичните индексатори са пълни със спам и , но все пак са добри за намиране на файлове, качени преди пет или повече години. Ето някои от тях:

Безплатните индексатори, които изискват регистрация, са по-подходящи за намиране на нови файлове. Те са добре структурирани, съдържанието има не само заглавия, но и описания със снимки. Можете да опитате следното:

Има и индексатори само за определени видове съдържание. Например anizb е за феновете на анимето, докато albumsindex е за тези, които търсят музика.

Изтегляне от Usenet

Вземете Fraser Park (The FP) като пример, неясен филм от 2011 г., който е почти невъзможно да се намери в 1080p. Трябва да намерите NZB файла и да го стартирате чрез програма като NZBGet или SABnzbd.

Как да изтеглите чрез IRC

Ще ви трябва IRC клиент. Почти всеки ще направи - огромното мнозинство подкрепя DCC. Свържете се със сървъра, който ви интересува, и започнете да изтегляте.

Най-големите сървъри с книги:

• irc.undernet.org, стая #bookz;
• irc.irchighway.net, #стая за електронни книги.

Филми:

• irc.abjects.net, стая #moviegods;
• irc.abjects.net, стая #beast-xdcc.

Западна и японска анимация:

• irc.rizon.net, стая #новини;
• irc.xertion.org, стая #cartoon-world.

Можете да използвате командите !find или @find, за да намерите файлове. Ботът ще изпрати резултатите като лично съобщение. Ако е възможно, предпочитайте командата @search - тя изпълнява специален бот, който предоставя резултати от търсенето в един файл, а не в огромен поток от текст.

Нека опитаме да изтеглим Как музиката стана безплатна, книга за музикалната индустрия, написана от Стивън Вит.

Ботът отговори на заявката @search и изпрати резултатите като ZIP файл през DCC.

Изпращане на заявка за изтегляне.

И приемете файла.

Ако сте намерили файл с помощта на индексатора, тогава не е необходимо да го търсите в канала. Просто изпратете заявка за изтегляне до бота, като използвате командата от сайта на индексатора.

DC++

В DC ​​мрежа цялата комуникация се осъществява чрез сървър, наречен хъб. Можете да търсите определени типове файлове в него: аудио, видео, архиви, документи, дискови изображения.

Споделянето на файлове в DC++ е много просто: просто поставете отметка в квадратчето до папката, която искате да споделите общ достъп. Благодарение на това можете да намерите нещо напълно невъобразимо - нещо, за което вие самите отдавна сте забравили, но което внезапно може да бъде полезно за някого.

Как да изтеглите чрез DC++

Подходящ за всеки клиент. За Windows най-добрият варианте FlylinkDC++. Потребителите на Linux могат да избират между и AirDC++ Web.

Търсенето и изтеглянето се изпълняват удобно: въведете заявка, изберете тип съдържание, щракнете върху „Търсене“ и щракнете двукратно върху резултата, за да изтеглите файла. Можете също така да видите списък с всички файлове, отворени от потребителя, и да изтеглите всички файлове от избраната папка. За това трябва Кликнете с десния бутонщракнете с мишката върху резултата от търсенето и изберете съответния елемент.

Ако не сте намерили нещо, опитайте отново по-късно. Често хората включват DC клиента само когато самите те трябва да изтеглят нещо.

Индексатори

Вграденото търсене намира файлове само в онлайн потребителски списъци. За да намерите рядко съдържание, имате нужда от индексатор.

Единственият известен вариант е spacelib.dlinkddns.com, както и неговият огледален dcpoisk.no-ip.org. Резултатите се представят под формата на магнитни връзки, при щракване файловете веднага започват да се изтеглят през DC клиента. Трябва да се има предвид, че понякога индексаторът е недостъпен за дълго време - понякога до два месеца.

eDonkey2000 (ed2k), Kad

Подобно на DC++, ed2k е децентрализиран протокол за комуникация на данни с централизиран хъб за намиране и свързване на потребители помежду си. В eDonkey2000 можете да намерите почти същото като в DC++: стари сериали с различен глас, музика, програми, игри, стари, както и книги по математика и биология. Има обаче и нови издания.

За професионално търсенев Интернет са необходими специализиран софтуер, както и специализирани търсачки и услуги за търсене.

ПРОГРАМИ

http://dr-watson.wix.com/home - програма, предназначена за изследване на масиви текстова информацияза да се идентифицират субектите и връзките между тях. Резултатът от работата е доклад за изследвания обект.

http://www.fmsasg.com/ - Sentinel Vizualizer е един от най-добрите в света софтуер за визуализация на връзки и взаимоотношения. Компанията напълно русифицира своите продукти и се свърза гореща линияна руски.

http://www.newprosoft.com/ - "Web Content Extractor" е най-мощният, лесен за използване софтуер за извличане на данни от уеб сайтове. Освен това има ефективен Visual Web spider.

SiteSputnik – без аналог в света софтуерен пакет, което ви позволява да търсите и обработвате резултатите от него във видимия и невидимия Интернет, като използвате всички търсачки, необходими на потребителя.

WebSite-Watcher - позволява ви да наблюдавате уеб страници, включително защитени с парола, да наблюдавате форуми, RSS емисии, дискусионни групи, локални файлове. Притежава мощна системафилтри. Наблюдението е автоматично и се предоставя по удобен за потребителя начин. Програмата с разширени функции струва 50 евро. Постоянно се актуализира.

http://www.scribd.com/ е най-популярната платформа в света и все по-често се използва в Русия за хостване на различни видове документи, книги и др. за свободен достъп с много удобна търсачка за имена, теми и др.

http://www.atlasti.com/ - е най-мощният и ефективен инструмент за индивидуални потребители, малък и дори среден бизнес за качествен анализ на информация. Програмата е многофункционална и следователно полезна. Той съчетава възможностите за създаване на единна информационна среда за работа с различни текстови, електронни таблици, аудио и видео файлове като цяло, както и инструменти за качествен анализ и визуализация.

Ashampoo ClipFinder HD - Все по-голяма част от информационния поток е видео. Съответно конкурентните скаути се нуждаят от инструменти за работа с този формат. Един от тези продукти е безплатна помощна програма. Позволява ви да търсите видеоклипове по определени критерии в хранилища за видеофайлове като YouTube. Програмата е лесна за използване, показва всички резултати от търсенето на една страница с подробна информация, заглавия, продължителност, време, когато видеото е качено в хранилището и др. Има руски интерфейс.

http://www.advego.ru/plagiatus/ - програмата е направена seo оптимизатори, но е доста подходящ като инструмент за интернет разузнаване. Плагиатството показва степента на уникалност на текста, източниците на текста, процента на съвпадение на текста. Програмата също така проверява уникалността на посочения URL. Програмата е безплатна.

http://neiron.ru/toolbar/ - включва добавка за комбиниране на търсения с Google и Yandex, а също така ви позволява да извършвате конкурентен анализ въз основа на оценка на ефективността на сайтовете и контекстна реклама. Внедрено като плъгин за FF и GC.

http://web-data-extractor.net/ е универсално решение за получаване на всякакви данни, налични в Интернет. Настройката на изрязване на данни от всяка страница се извършва с няколко кликвания на мишката. Просто трябва да изберете областта с данни, която искате да запазите и Datacol ще избере формулата за изрязване на този блок.

CaptureSaver е професионален инструмент за интернет проучване. Просто незаменима работна програма, което ви позволява да улавяте, съхранявате и експортирате всяка информация в Интернет, включително не само уеб страници, блогове, но също и RSS новини, имейл, изображения и др. Има най-широка функционалност, интуитивен ясен интерфейси смешна цена.

http://www.orbiscope.net/en/software.html - система за уеб мониторинг на повече от достъпни цени.

http://www.kbcrawl.co.uk/ - софтуерза работа, включително и в "Невидимия интернет".

http://www.copernic.com/en/products/agent/index.html - програмата ви позволява да търсите с помощта на повече от 90 търсачки, повече от 10 параметъра. Позволява ви да обедините резултати, да елиминирате дубликати, да блокирате повредени връзки, да показвате най-подходящите резултати. Предлага се в безплатни, лични и професионални версии. Използва се от повече от 20 милиона потребители.

Maltego е фундаментално нов софтуер, който ви позволява да установите връзката на субекти, събития и обекти в реалния живот и в Интернет.

УСЛУГИ

нов е уеб браузър с десетки предварително инсталирани инструменти за OSINT.

е ефективен агрегатор за търсене за намиране на хора на основния руски език в социалните мрежи.

https://hunter.io/ е ефективна услуга за откриване и проверка на имейли.

https://www.whatruns.com/ - лесен за използване, но ефективен скенер, което ви позволява да откриете какво работи и какво не работи на уебсайт и какви са дупките в сигурността. Също така имплементиран като плъгин за Chrom.

https://www.crayon.co/ е американска евтина пазарна и конкурентна разузнавателна платформа в Интернет.

http://www.cs.cornell.edu/~bwong/octant/ - локатор на хостове.

https://iplogger.ru/ - проста и удобна услуга за определяне на IP на някой друг.

http://linkurio.us/ е мощен нов продукт за работниците по икономическа сигурност и разследващите корупция. Обработва и визуализира огромни масиви от неструктурирана информация от финансови източници.

http://www.intelsuite.com/en е англоезична онлайн платформа за конкурентно разузнаване и мониторинг.

http://yewno.com/about/ е първата операционна система за преобразуване на информация в знания и визуализиране на неструктурирана информация. В момента поддържа английски, френски, немски, испански и португалски.

https://start.avalancheonline.ru/landing/?next=%2F - прогнозни и аналитични услуги на Андрей Масалович.

https://www.outwit.com/products/hub/ - пълен набор от самостоятелни програми за професионална работа в мрежата 1.

https://github.com/search?q=user%3Acmlh+maltego - разширения за Maltego.

http://www.whoishostingthis.com/ - търсачка за хостинг, IP адреси и др.

http://appfollow.ru/ - анализ на приложения въз основа на рецензии, ASO оптимизация, позиции в топовете и резултати от търсене за App Store, Google Play и Windows Phone Store.

http://spiraldb.com/ е услуга, реализирана като плъгин за Chrom, която ви позволява да получите много ценна информация за всеки електронен ресурс.

https://millie.northernlight.com/dashboard.php?id=93 - безплатно обслужване, събиране и структуриране на ключова информация за индустрии и компании. Възможно е да се използват информационни панели, базирани на анализ на текст.

http://byratino.info/ - събиране на фактически данни от публично достъпни източници в Интернет.

http://www.datafox.co/ - CI платформа, която събира и анализира информация за компании, представляващи интерес за клиентите. Има демо.

https://unwiredlabs.com/home - специализирано приложение с API за търсене по геолокация на всяко устройство, свързано с интернет.

http://visualping.io/ е услуга за наблюдение на сайтове и на първо място на снимките и изображенията в тях. Дори снимката да се появи за секунда, тя ще бъде вътре електронна пощаабонат. Има плъгин за Google Chrome.

http://spyonweb.com/ е изследователски инструмент, който ви позволява да извършите задълбочен анализ на всеки интернет ресурс.

http://bigvisor.ru/ - услугата ви позволява да проследявате рекламни компанииза определени сегменти от стоки и услуги или за конкретни организации.

http://www.itsec.pro/2013/09/microsoft-word.html - Инструкции на Артем Агеев за използване Windows програмиза нуждите на конкурентното разузнаване.

http://granoproject.org/ - инструмент с отворен код програмен кодза изследователи, които проследяват мрежи от връзки между хора и организации в политиката, икономиката, престъпността и др. Позволява ви да свързвате, анализирате и визуализирате информация, получена от различни източници, както и да показвате значими връзки.

http://imgops.com/ - услуга за извличане на метаданни от графични файловеи работи с тях.

http://sergeybelove.ru/tools/one-button-scan/ - малък онлайн скенер за проверка на дупки в сигурността на уебсайтове и други ресурси.

http://isce-library.net/epi.aspx - услуга за търсене на първични източници по фрагмент от текст на английски език

https://www.rivaliq.com/ е ефективен инструмент за провеждане на конкурентно разузнаване на западните, предимно европейски и американски пазари за стоки и услуги.

http://watchthatpage.com/ е услуга, която ви позволява автоматично да събирате нова информация от наблюдаваните ресурси в Интернет. Сервизните услуги са безплатни.

http://falcon.io/ е един вид Rapportive за мрежата. Не е заместител на Rapportive, но предоставя допълнителни инструменти. За разлика от Rapportive, той дава общ профил на човек, сякаш залепен от данни от социални мрежи и споменавания в web.http://watchthatpage.com/ - услуга, която ви позволява автоматично да събирате нова информация от наблюдаваните ресурси на Интернет. Сервизните услуги са безплатни.

https://addons.mozilla.org/en/firefox/addon/update-scanner/ е добавка за Firefox. Следи актуализациите на уеб страницата. Полезно за уебсайтове, които нямат емисии с новини (Atom или RSS).

http://agregator.pro/ е агрегатор на новинарски и медийни портали. Използва се от търговци, анализатори и др. за анализиране на новинарски потоци по определени теми.

http://price.apishops.com/ е автоматизирана уеб услуга за следене на цени за избрани продуктови групи, конкретни онлайн магазини и други параметри.

http://www.la0.ru/ е удобна и подходяща услуга за анализиране на връзки и препратки към интернет ресурс.

www.recordedfuture.com е мощен инструмент за анализ на данни и визуализация, реализиран като онлайн услуга, базирана на облачни изчисления.

http://advse.ru/ е услуга под мотото „Научете всичко за вашите конкуренти“. Позволява ви да получите уебсайтове на конкуренти в съответствие със заявките за търсене, да анализирате рекламните кампании на конкурентите в Google и Yandex.

http://spyonweb.com/ – услугата ви позволява да идентифицирате сайтове с еднакви характеристики, включително такива, използващи същите идентификатори на услуги Google статистикаАнализ, IP адреси и др.

http://www.connotate.com/solutions - линия от продукти за конкурентно разузнаване, управление на информационния поток и трансформиране на информация в информационни активи. Той включва както сложни платформи, така и прости евтини услуги, които ви позволяват ефективно да наблюдавате, заедно с компресиране на информация и получаване само на резултатите, от които се нуждаете.

http://www.clearci.com/ е платформа за конкурентно разузнаване за фирми от всякакъв размер от стартиращи и малки компании до компании от Fortune 500. Проектиран като saas.

http://startingpage.com/ е добавка на Google, която ви позволява да търсите в Google, без да коригирате своя IP адрес. Напълно поддържа всички функции за търсене на Google, включително руски.

http://newspapermap.com/ е уникална услуга, която е много полезна за офицер от конкурентното разузнаване. Свързва геолокацията с онлайн медийна търсачка. Тези. избирате региона или дори града или езика, който ви интересува, вижте мястото и списъка с онлайн версии на вестници и списания на картата, щракнете върху съответния бутон и прочетете. Поддържа руски език, много удобен интерфейс.

http://infostream.com.ua/ е много удобна, отличаваща се с първокласна селекция, доста достъпна за всеки портфейл, системата за наблюдение на новини Infostream от един от класиците на интернет търсенето D.V. Lande.

http://www.instapaper.com/ е много прост и ефективен инструмент за запазване на необходимите уеб страници. Може да се използва на компютри, iPhone, iPad и др.

http://screen-scraper.com/ - позволява автоматично извличане на цялата информация от уеб страници, изтегляне на по-голямата част от файловите формати, автоматично въвеждане на данни в различни форми. Запазва изтеглените файлове и страници в бази данни, извършва много други изключително полезни функции. Работи под всички основни платформи, има напълно функционални безплатни и много мощни професионални версии.

http://www.mozenda.com/ - има няколко тарифни плановеи достъпна дори за малкия бизнес, уеб услуга за многофункционален уеб мониторинг и доставка от избрани сайтове на необходимата за потребителя информация.

http://www.recipdonor.com/ - услугата ви позволява автоматично да наблюдавате всичко, което се случва на сайтовете на конкурентите.

http://www.spyfu.com/ - и това е ако имате чуждестранни конкуренти.

www.webground.su е услуга за наблюдение на Runet, създадена от професионалисти в интернет търсенето, която включва всички основни доставчици на информация, новини и т.н., и е в състояние на индивидуални настройки за наблюдение за нуждите на потребителя.

ТЪРСАЧКИ

https://www .idmarch .org/ е най-добрата търсачка за световния архив на pdf документи по отношение на качеството. В момента са индексирани повече от 18 милиона pdf документа, вариращи от книги до секретни доклади.

http://www.marketvisual.com/ е уникална търсачка, която ви позволява да търсите собственици и топ мениджмънт по пълно име, име на фирма, длъжност или комбинация от тях. Резултатите от търсенето съдържат не само желаните обекти, но и техните връзки. Предназначен предимно за англоговорящите страни.

http://worldc.am/ е машина за търсене на снимки със свободен достъп, свързана с геолокация.

https://app.echosec.net/ е търсачка с обществено достояние, която се описва като най-модерния аналитичен инструмент за професионалисти в правоприлагането и сигурността и разузнаването. Позволява ви да търсите снимки, публикувани на различни сайтове, социални платформии в социалните мрежи във връзка с конкретни геолокационни координати. В момента има свързани седем източника на данни. До края на годината броят им ще надхвърли 450. Благодаря на Dementy за съвета.

http://www.quandl.com/ е търсачка за седем милиона финансови, икономически и социални бази данни.

http://bitzakaz.ru/ - търсачка за търгове и държавни поръчки с допълнителни платени функции

Website-Finder - дава възможност за намиране на сайтове, които са слабо индексирани от Google. Единственото ограничение е, че за всеки ключова думатърси само в 30 уебсайта. Програмата е лесна за използване.

http://www.dtsearch.com/ е най-мощната търсачка, която ви позволява да обработвате терабайти текст. Работи на десктоп, уеб и интранет. Поддържа както статични, така и динамични данни. Позволява ви да търсите във всички програми на MS Office. Търсенето се извършва по фрази, думи, тагове, индекси и много други. Единствената налична федерална търсачка. Има както платени, така и безплатни версии.

http://www.strategator.com/ - търси, филтрира и събира фирмена информация от десетки хиляди уеб източници. Търси САЩ, Великобритания, основните страни от ЕИО. Той е много подходящ, удобен за потребителя, има безплатни и платена опция($14 на месец).

http://www.shodanhq.com/ е необичайна търсачка. Веднага след появата си той получава прозвището "Google за хакери". Той не търси страници, но определя IP адреси, типове рутери, компютри, сървъри и работни станции, разположени на определен адрес, проследява вериги от DNS сървъри и ви позволява да внедрите много други интересни функцииза конкурентно разузнаване.

http://search.usa.gov/ - търсачка за уебсайтове и открити базивсички правителствени агенции на САЩ. Базите съдържат много практични полезна информация, включително и за използване у нас.

http://visual.ly/ – Днес визуализацията се използва все повече за представяне на данни. Това е първата инфографична търсачка в мрежата. Наред с търсачката, порталът разполага с мощни инструменти за визуализация на данни, които не изискват умения за програмиране.

http://go.mail.ru/realtime - търсене на дискусии на теми, събития, обекти, теми в реално или персонализирано време. По-рано силно критикуваното търсене в Mail.ru работи много ефективно и дава интересни, подходящи резултати.

Zanran е първата и единствена търсачка за данни, която извлича данни от PDF файлове, EXCEL таблици, данни в HTML страници.

http://www.ciradar.com/Competitive-Analysis.aspx е една от най-добрите търсачки в света за конкурентно разузнаване в дълбоката мрежа. Извлича почти всички видове файлове във всички формати по темата, която ви интересува. Реализирано като уеб услуга. Цените са повече от приемливи.

http://public.ru/ - Ефективно търсене и професионален анализ на информация, медиен архив от 1990 г. Интернет медийната библиотека предлага широка гама от информационни услуги: от достъп до електронни архиви на медийни публикации на руски език и готови тематични прегледи на пресата до индивидуален мониторинг и ексклузивни аналитични проучвания, базирани на материали от пресата.

Cluuz е млада търсачка с широки възможностиза конкурентно разузнаване, особено в англоезичния интернет. Позволява не само намиране, но и визуализиране, установяване на връзки между хора, компании, домейни, имейли, адреси и др.

www.wolframalpha.com е търсачката на утрешния ден. На заявка за търсенедава налична статистическа и фактическа информация за обекта на заявката, включително визуализирана информация.

www.ist-budget.ru - универсално търсене в бази данни за обществени поръчки, търгове, аукциони и др.