Форум Новости Космонавтики

Информация => Информация => Тема начата: Andrey Rodionov от 26.12.2016 22:27:58

Название: Аналитика новостей
Отправлено: Andrey Rodionov от 26.12.2016 22:27:58
Всем привет!

Я хотел бы рассказать о своем проекте по анализу новостей космонавтики: https://0space.ru

Новости добавляются вручную. В основном новости берутся с tass.ru и http://www.roscosmos.ru.

Как думаете взлетит?
Название: Аналитика новостей
Отправлено: Безумный Шляпник от 26.12.2016 20:15:49
ЦитироватьAndrey Rodionov пишет:
Я хотел бы рассказать...
Так расскажите.
Название: Аналитика новостей
Отправлено: Andrey Rodionov от 27.12.2016 00:25:44
ЦитироватьБезумный Шляпник пишет:
ЦитироватьAndrey Rodionov пишет:
Я хотел бы рассказать...
Так расскажите.
1. Из каждой новости извлекаются факты вида: <кто> <что сделал> <что>. Например: ИЗМИРАН (https://0space.ru/entity?name=%d0%98%d0%97%d0%9c%d0%98%d0%a0%d0%90%d0%9d) разработчик Парусный спутник (https://0space.ru/entity?name=%d0%9f%d0%b0%d1%80%d1%83%d1%81%d0%bd%d1%8b%d0%b9+%d1%81%d0%bf%d1%83%d1%82%d0%bd%d0%b8%d0%ba).
2. При этом можно быстро искать по связным новостям, если кликнуть на <кто> или <что>.
3. Факты могут составлять часть "проекта". У каждого проекта есть начало, конец и разработчик.
4. Проект может состоять из других проектов. https://ru.wikipedia.org/wiki/Диаграмма_Гантта
Название: Аналитика новостей
Отправлено: Безумный Шляпник от 26.12.2016 22:06:41
Ну то есть это получается как бы база неких тегов с привязкой к линкам на исходные новостные сообщения. Задумка в целом неплохая.
Название: Аналитика новостей
Отправлено: Безумный Шляпник от 26.12.2016 22:10:18
А как вы собираетесь ориентироваться в море этих <кто> и <что> по мере разрастания базы? Их же будет огромное количество.
Название: Аналитика новостей
Отправлено: Andrey Rodionov от 27.12.2016 01:28:24
ЦитироватьБезумный Шляпник пишет:
А как вы собираетесь ориентироваться в море этих <кто> и <что> по мере разрастания базы? Их же будет огромное количество.
Еще не придумал :)

Вообще у каждой сущности <кто> будут свойства (опять же взяты из новостей) так что должно быть просто. 
Название: Аналитика новостей
Отправлено: Lanista от 28.12.2016 12:13:29
Вы бы не ограничивались только новостями Роскосмоса...
А так да, кликаешь на Рагозина и смотришь обещалки за все года =)
Название: Аналитика новостей
Отправлено: Andrey Rodionov от 29.12.2016 00:50:06
ЦитироватьLanista пишет:
Вы бы не ограничивались только новостями Роскосмоса...
А так да, кликаешь на Рагозина и смотришь обещалки за все года =)
А какие есть еще источники новостей? 

Я анализирую:
tass.ru
izvestia.ru
zakupki.gov.ru
rbk
roscosmos.ru
energia.ru
Название: Аналитика новостей
Отправлено: Дмитрий Виницкий от 28.12.2016 21:51:20
А можно тут пример вашего анализа?
Название: Аналитика новостей
Отправлено: Andrey Rodionov от 29.12.2016 02:18:39
ЦитироватьДмитрий Виницкий пишет:
А можно тут пример вашего анализа?
Конечно!

Статья:
http://www.roscosmos.ru/23077/

Получившиеся факты:

1) ОКР «Зеленое топливо» (https://0space.ru/entity?name=%d0%9e%d0%9a%d0%a0+%c2%ab%d0%97%d0%b5%d0%bb%d0%b5%d0%bd%d0%be%d0%b5+%d1%82%d0%be%d0%bf%d0%bb%d0%b8%d0%b2%d0%be%c2%bb) завершение 23.12.2016
2) ОКБ «ФАКЕЛ» (https://0space.ru/entity?name=%d0%9e%d0%9a%d0%91+%c2%ab%d0%a4%d0%90%d0%9a%d0%95%d0%9b%c2%bb) разработчик ОКР «Зеленое топливо» (https://0space.ru/entity?name=%d0%9e%d0%9a%d0%a0+%c2%ab%d0%97%d0%b5%d0%bb%d0%b5%d0%bd%d0%be%d0%b5+%d1%82%d0%be%d0%bf%d0%bb%d0%b8%d0%b2%d0%be%c2%bb)
3) Камера сгорания для ОКР «Зеленое топливо» (https://0space.ru/entity?name=%d0%9a%d0%b0%d0%bc%d0%b5%d1%80%d0%b0+%d1%81%d0%b3%d0%be%d1%80%d0%b0%d0%bd%d0%b8%d1%8f+%d0%b4%d0%bb%d1%8f+%d0%9e%d0%9a%d0%a0+%c2%ab%d0%97%d0%b5%d0%bb%d0%b5%d0%bd%d0%be%d0%b5+%d1%82%d0%be%d0%bf%d0%bb%d0%b8%d0%b2%d0%be%c2%bb) завершение 23.12.2016
4) ОАО «КОМПОЗИТ» (https://0space.ru/entity?name=%d0%9e%d0%90%d0%9e+%c2%ab%d0%9a%d0%9e%d0%9c%d0%9f%d0%9e%d0%97%d0%98%d0%a2%c2%bb) разработчик Камера сгорания для ОКР «Зеленое топливо» (https://0space.ru/entity?name=%d0%9a%d0%b0%d0%bc%d0%b5%d1%80%d0%b0+%d1%81%d0%b3%d0%be%d1%80%d0%b0%d0%bd%d0%b8%d1%8f+%d0%b4%d0%bb%d1%8f+%d0%9e%d0%9a%d0%a0+%c2%ab%d0%97%d0%b5%d0%bb%d0%b5%d0%bd%d0%be%d0%b5+%d1%82%d0%be%d0%bf%d0%bb%d0%b8%d0%b2%d0%be%c2%bb)
5) Камера сгорания для ОКР «Зеленое топливо» (https://0space.ru/entity?name=%d0%9a%d0%b0%d0%bc%d0%b5%d1%80%d0%b0+%d1%81%d0%b3%d0%be%d1%80%d0%b0%d0%bd%d0%b8%d1%8f+%d0%b4%d0%bb%d1%8f+%d0%9e%d0%9a%d0%a0+%c2%ab%d0%97%d0%b5%d0%bb%d0%b5%d0%bd%d0%be%d0%b5+%d1%82%d0%be%d0%bf%d0%bb%d0%b8%d0%b2%d0%be%c2%bb) материал Молибденовый сплав (https://0space.ru/entity?name=%d0%9c%d0%be%d0%bb%d0%b8%d0%b1%d0%b4%d0%b5%d0%bd%d0%be%d0%b2%d1%8b%d0%b9+%d1%81%d0%bf%d0%bb%d0%b0%d0%b2)
6) Валентин Каширский прокомментировал Камера сгорания (https://0space.ru/project?parentName=%d0%9a%d0%b0%d0%bc%d0%b5%d1%80%d0%b0+%d1%81%d0%b3%d0%be%d1%80%d0%b0%d0%bd%d0%b8%d1%8f)
7) Валентин Каширский (https://0space.ru/entity?name=%d0%92%d0%b0%d0%bb%d0%b5%d0%bd%d1%82%d0%b8%d0%bd+%d0%9a%d0%b0%d1%88%d0%b8%d1%80%d1%81%d0%ba%d0%b8%d0%b9) сотрудник ОАО «КОМПОЗИТ» (https://0space.ru/entity?name=%d0%9e%d0%90%d0%9e+%c2%ab%d0%9a%d0%9e%d0%9c%d0%9f%d0%9e%d0%97%d0%98%d0%a2%c2%bb)
  8)   Камера сгорания для ОКР «Зеленое топливо» (https://0space.ru/entity?name=%d0%9a%d0%b0%d0%bc%d0%b5%d1%80%d0%b0+%d1%81%d0%b3%d0%be%d1%80%d0%b0%d0%bd%d0%b8%d1%8f+%d0%b4%d0%bb%d1%8f+%d0%9e%d0%9a%d0%a0+%c2%ab%d0%97%d0%b5%d0%bb%d0%b5%d0%bd%d0%be%d0%b5+%d1%82%d0%be%d0%bf%d0%bb%d0%b8%d0%b2%d0%be%c2%bb) подпроект ОКР «Зеленое топливо» (https://0space.ru/entity?name=%d0%9e%d0%9a%d0%a0+%c2%ab%d0%97%d0%b5%d0%bb%d0%b5%d0%bd%d0%be%d0%b5+%d1%82%d0%be%d0%bf%d0%bb%d0%b8%d0%b2%d0%be%c2%bb)
Название: Аналитика новостей
Отправлено: Юрий Темников от 31.12.2016 00:36:57
В этой аналитике нет пожалуй самого главного: практически все эти зеленые топлива (унитарные)-взрывчатые вещества,которые могут сдетонировать в любой момент.Мало вам "Курска??Да и УИ весьма посредственный И способы получения сложноваты.(относительно конечно).Неужели есть желающие летать на бомбе?
Название: Аналитика новостей
Отправлено: Andrey Rodionov от 31.12.2016 03:50:51
ЦитироватьЮрий Темников пишет:
В этой аналитике нет пожалуй самого главного: практически все эти зеленые топлива (унитарные)-взрывчатые вещества,которые могут сдетонировать в любой момент.Мало вам "Курска??Да и УИ весьма посредственный И способы получения сложноваты.(относительно конечно).Неужели есть желающие летать на бомбе?
Это анализ новостей, а не анализ объекта новости. Как раз этот сайт и должен помочь в анализе топлива, сроков, целей и пр. В голове очень сложно держать множество фактов.

Вот например, Вы против зеленого топлива. Если бы в новости был указан его состав, то можно было бы легко по этому составу найти другие такие же эксперименты и от этих экспериментов посмотреть когда и что взрывалось с официальными комментариями и источниками. А пока это лишь безосновательный наезд.
Название: Аналитика новостей
Отправлено: Юрий Темников от 31.12.2016 01:33:40
ЦитироватьAndrey Rodionov пишет:
Это анализ новостей, а не анализ объекта новости. Как раз этот сайт и должен помочь в анализе топлива, сроков, целей и пр. В голове очень сложно держать множество фактов.
Есть такая книжка,старая,Слово о ракетном топливе.Можете процитировать главу оттуда об унитарных топливах.Но я не о том.Такой многофакторный анализ попросту невозможен.Каждый день гигабайты новой информации.Вы просто забьете огромными портянками весь форум и в них наверняка еще труднее будет найти искомое.Но как говаривал Лаврентий Палыч: попытка не  пытка.Дерзайте!
Название: Аналитика новостей
Отправлено: triage от 31.12.2016 13:41:28
ЦитироватьAndrey Rodionov пишет:
ЦитироватьLanista пишет:
Вы бы не ограничивались только новостями Роскосмоса...
А так да, кликаешь на Рагозина и смотришь обещалки за все года =)
А какие есть еще источники новостей?

Я анализирую:
tass.ru
izvestia.ru
zakupki.gov.ru
rbk
roscosmos.ru
energia.ru
 https://rns.online/ еще иногда публикует отличное от названных источников

Но вот смотрю я на это
Спутник "Лыбидь" (https://0space.ru/entity?name=%D0%A1%D0%BF%D1%83%D1%82%D0%BD%D0%B8%D0%BA+%22%D0%9B%D1%8B%D0%B1%D0%B8%D0%B4%D1%8C%22)
Спутник "Лыбидь" (https://0space.ru/entity?name=%d0%a1%d0%bf%d1%83%d1%82%d0%bd%d0%b8%d0%ba+%22%d0%9b%d1%8b%d0%b1%d0%b8%d0%b4%d1%8c%22) запуск 31-12-2017 (https://0space.ru/entity?name=31-12-2017)
30 дек 2016 09:25
Спутник "Лыбидь" (https://0space.ru/entity?name=%d0%a1%d0%bf%d1%83%d1%82%d0%bd%d0%b8%d0%ba+%22%d0%9b%d1%8b%d0%b1%d0%b8%d0%b4%d1%8c%22) разгонный блок Фрегат-СБ (https://0space.ru/entity?name=%d0%a4%d1%80%d0%b5%d0%b3%d0%b0%d1%82-%d0%a1%d0%91)
30 дек 2016 06:25
Даже не указаны источники (сайт и кто говорил)
И на это 
Цитировать http://tass.ru/kosmos/3918399
30 декабря, 16:01 дата обновления: 30 декабря, 17:08
...
Запуск украинского спутника "Лыбидь" планируется осуществить с помощью ракеты-носителя "Зенит" в конце 2017 года - начале 2018 года с космодрома Байконур.
"Конец 2017 года (или 2018 год) - "Лыбидь". Ракета - "Зенит-3SLБФ", разгонный блок - "Фрегат-СБ", - говорится в сообщении.
..
Разночтение....

Я бы делал сохранение полной статьи на сайте с ссылкой на источник... или на сохраненную копию... но проблема с авторскими правами.
И эту полную статью парсил на теги. Похожий русскоязычный проект кажется есть.
Название: Аналитика новостей
Отправлено: Andrey Rodionov от 31.12.2016 17:18:06
Цитироватьpnetmon пишет:
ЦитироватьAndrey Rodionov пишет:
ЦитироватьLanista пишет:
Вы бы не ограничивались только новостями Роскосмоса...
А так да, кликаешь на Рагозина и смотришь обещалки за все года =)
А какие есть еще источники новостей?

Я анализирую:
tass.ru
izvestia.ru
zakupki.gov.ru
rbk
roscosmos.ru
energia.ru
https://rns.online/ еще иногда публикует отличное от названных источников

Но вот смотрю я на это
 Спутник "Лыбидь" (https://0space.ru/entity?name=%D0%A1%D0%BF%D1%83%D1%82%D0%BD%D0%B8%D0%BA+%22%D0%9B%D1%8B%D0%B1%D0%B8%D0%B4%D1%8C%22)
Спутник "Лыбидь" (https://0space.ru/entity?name=%d0%a1%d0%bf%d1%83%d1%82%d0%bd%d0%b8%d0%ba+%22%d0%9b%d1%8b%d0%b1%d0%b8%d0%b4%d1%8c%22) запуск 31-12-2017 (https://0space.ru/entity?name=31-12-2017)
30 дек 2016 09:25
Спутник "Лыбидь" (https://0space.ru/entity?name=%d0%a1%d0%bf%d1%83%d1%82%d0%bd%d0%b8%d0%ba+%22%d0%9b%d1%8b%d0%b1%d0%b8%d0%b4%d1%8c%22) разгонный блок Фрегат-СБ (https://0space.ru/entity?name=%d0%a4%d1%80%d0%b5%d0%b3%d0%b0%d1%82-%d0%a1%d0%91)
30 дек 2016 06:25
Даже не указаны источники (сайт и кто говорил)
И на это
Цитироватьhttp://tass.ru/kosmos/3918399
30 декабря, 16:01 дата обновления: 30 декабря, 17:08
...
Запуск украинского спутника "Лыбидь" планируется осуществить с помощью ракеты-носителя "Зенит" в конце 2017 года - начале 2018 года с космодрома Байконур.
"Конец 2017 года (или 2018 год) - "Лыбидь". Ракета - "Зенит-3SLБФ", разгонный блок - "Фрегат-СБ", - говорится в сообщении.
..
Разночтение....

Я бы делал сохранение полной статьи на сайте с ссылкой на источник... или на сохраненную копию... но проблема с авторскими правами.
И эту полную статью парсил на теги. Похожий русскоязычный проект кажется есть.
Немного по порядку:

1) Если навести мышкой на новость, то справа будет значок ссылки на источник. Я подумал что если всегда отображать ссылку на источник то будет слишком много информации. Опять же если источник уже разобран на факты то смотреть на него не особо интересно. Разве что для уточнения информации.
2) Разночтение всегда будет, потому что разные люди могут говорить разные вещи. Опять же людям свойственно забывать поэтому иногда они говорят стоимость 300млрд а иногда 275млрд. Кстати когда видно разночтения, то это как раз тот случай ради чего весь проект затевался! Можно очень быстро анализировать странности и разночтения.
3) Факты могут меняться. Например обещания: "запуск" https://0space.ru/entity?name=Спутник+%22Лыбидь%22

А как википедия сохраняет источник? У них нет проблем с лицензиями?
Название: Аналитика новостей
Отправлено: triage от 01.01.2017 11:45:10
Если навести мышкой на новость, то справа будет значок ссылки на источник - не информативно, и не все и заметят появлющийся в другом углу значек.
Я подумал что если всегда отображать ссылку на источник то будет слишком много информации - видно, не обязательно в тексте давать полный путь, можно и название источника
Разночтение всегда будет, потому что разные люди могут говорить разные вещи - как видно в источнике ТАСС непонятно кто говорит (слова которые говорил Комаров написаны выше, а эти без прямой привязки) про начало 2018 года или вообще в 2018 году, а вас 31.12.2017... разночтения уже на этапе работы с источником

А как википедия сохраняет источник? У них нет проблем с лицензиями? - в вики не вносятся полностью статьи, а я говорил про полные статьи. Для статей в вики на случай удаления источников частично используется https://archive.org/web/ - но смотря ... (блокировки этого сайта archive.org, а так же запрета создания архивных копий некоторых сайтов, и желание отделения ру сегмента сети от всего интернета), непонятно что и советовать, кроме как в локальную базу.

Про русскоязычный аналог - http://ecoruspace.me/
Название: Аналитика новостей
Отправлено: Andrey Rodionov от 01.01.2017 21:44:01
Цитироватьpnetmon пишет:
Если навести мышкой на новость, то справа будет значок ссылки на источник - не информативно, и не все и заметят появлющийся в другом углу значек.
 Я подумал что если всегда отображать ссылку на источник то будет слишком много информации - видно, не обязательно в тексте давать полный путь, можно и название источника
 Разночтение всегда будет, потому что разные люди могут говорить разные вещи - как видно в источнике ТАСС непонятно кто говорит (слова которые говорил Комаров написаны выше, а эти без прямой привязки) про начало 2018 года или вообще в 2018 году, а вас 31.12.2017... разночтения уже на этапе работы с источником

 А как википедия сохраняет источник? У них нет проблем с лицензиями? - в вики не вносятся полностью статьи, а я говорил про полные статьи. Для статей в вики на случай удаления источников частично используется https://archive.org/web/ - но смотря ... (блокировки этого сайта archive.org, а так же запрета создания архивных копий некоторых сайтов, и желание отделения ру сегмента сети от всего интернета), непонятно что и советовать, кроме как в локальную базу.

Про русскоязычный аналог - http://ecoruspace.me/
Да, с новостями в которых приближенные цифры непонятно что делать. Можно вообще игнорировать, а можно давать приблизительную оценку. Я просто беру 01-01-2018. 

http://ecoruspace.me/ - очень классный сайт! Он правда больше похож на википедию.