forum.esmasoft.com
Fresh posts
 
 FAQFAQ  SearchSearch   MemberlistMemberlist   UsergroupsUsergroups   RegisterRegister 
 ProfileProfile   Log in to check your private messagesLog in to check your private messages   Log inLog in 

Данные Google, питон и другие неспортивные источники...
общественный транспорт городов Беларуси
Goto page 1, 2, 3 ... 13, 14, 15  Next
 
Post new topic   Reply to topic    forum.esmasoft.com Forum Index -> BELNETMON
View previous topic :: View next topic  
Author Message
EXEMOK
графоман


Joined: 21 Nov 2003
Posts: 2339
Location: Mahileu / Minsk

PostPosted: 25 Apr 2006 10:44    Post subject: Данные Google, питон и другие неспортивные источники... Reply with quote

Народ, объясните мне, что такое сабж, что надо ставить и с чем его едят?*

Ветка для обсуждения "неспортивного" нетмониторинга. 8-)

P.S. Для борцов за чистоту идеи, желающих уточнить координаты БС, есть ветка Координаты Ozi и Google. beer

_________________
То ли я тупой, то ли гвозди.
Back to top
View user's profile Send private message
Druid
опытный
нетмониторщик


 BELNETMON Team

Joined: 29 Dec 2005
Posts: 1908

PostPosted: 05 Aug 2008 22:13    Post subject: Reply with quote

Интересную тему развили тут: http://forum.netmonitor.ru/post-37336.html#37336
В двух словах: из сервиса GoogleMaps можно выдрать приблизительные координаты месторасположения БС.
Я немного модифицировал скрипт, теперь он найденные координаты сохраняет в файл для Google Earth для последующего анализа на местности так сказать, а также отбрасывает координаты не попадающие в территорию Беларуси Super!
В ходе тестирования просканировал у велкома 254 лак, все данные сошлись с таблицами на сайте, из нового выявил, что на БС 197.x 254 работает DSC1800 Super! Координаты конечно не точные, но приблизительный район расположения БС выявить можно. Удобно искать БС за пределами больших городов.

Как пользоваться:
в первой строке скрипта
Code:
net, lac = 25701, 254
25701 и 254 код сети и номер лака соответственно
в восьмой строке
Quote:
for cid in range(65537)[1970:2000]:
цифры 1970 и 2000 указывают на диапазон значений CellID для перебора. В данном примере скрипт переберет все CID Велкома в 254 лаке начиная с CID 197.0 по 200.0
Подставляем требуемые значения и запускаем скрипт expert

Python для Windows брать тут: http://www.python.org/ftp/python/2.5.2/python-2.5.2.msi [11 Мб]



googscan.zip
 Description:
Скрипт на Python

Download
 Filename:  googscan.zip
 Filesize:  830 Bytes
 Downloaded:  1065 Time(s)



Last edited by Druid on 06 Aug 2008 16:22; edited 1 time in total
Back to top
View user's profile Send private message
Stalker
почетный нетмониторщик


 BELNETMON Team

Joined: 24 Mar 2004
Posts: 9133
Location: Sochi

PostPosted: 06 Aug 2008 08:32    Post subject: Reply with quote

Druid, idea можешь загнать в пхп и на сайт? beer
Back to top
View user's profile Send private message
Druid
опытный
нетмониторщик


 BELNETMON Team

Joined: 29 Dec 2005
Posts: 1908

PostPosted: 06 Aug 2008 14:58    Post subject: Reply with quote

Stalker wrote:
Druid, idea можешь загнать в пхп и на сайт? beer

Не получится, т.к. для выполнения PHP скрипта отводится какое-то определенное максимальное время, а на сканирование диапазона CID требуется затратить довольно продолжительное время confused
Back to top
View user's profile Send private message
Stalker
почетный нетмониторщик


 BELNETMON Team

Joined: 24 Mar 2004
Posts: 9133
Location: Sochi

PostPosted: 06 Aug 2008 15:09    Post subject: Reply with quote

Druid, а загнать удава на сайт нельзя? spy Просканируй Бест по РБ, интересно есть там что? 8-0
Back to top
View user's profile Send private message
Grip
опытный
нетмониторщик


 BELNETMON Team

Joined: 03 Aug 2005
Posts: 1194
Location: Gomel, BY

PostPosted: 06 Aug 2008 15:21    Post subject: Reply with quote

Druid, Super! . Спасибо за интересную наводку! Обсуждение аналогичной проги определения координат по CellID на базе Яндекс.Карт
здесь http://clubs.ya.ru/4611686018427388966/replies.xml?item_no=864&ncrnd=9004
Как я понял принцип работы такой: база пополняется за счет обработки информации о текущих координатах, LAC, CID, получаемых от коммуникаторов с GPS.
Для отображения текущего местоположения на карте гугл мапс отдается какая то расчетная средняя координата, если в базе есть информация о данном секторе БС. Например на телефоне SE W890i предустановлен javа аплет для работы с Google Maps и заявлен функционал определения координат по БС.
Скачал интерпретатор Phyton, настроил и запустил скрипт. РАБОТАЕТ! 8-0 На выходе имеем kml файл для просмотра в Google Earth.
Появился новый инструмент для нетмониторинга! ;-) Сканирует медленно, поковырялся пока только с новыми БС Велком в двух лаках. Просканировал мизер, а уже несколько новых БС, причем можно с большой долей уверенности установить, где они находятся. Super!
VEL, Светлогорск, 303, 241, 123, 456 (с) Google Maps
VEL, Жлобин?, 303, 211, 123 (с) Google Maps
Конечно , точности определения координат пока никакой, но все равно интересно. Вот бы еще с Яндекса вытаскивать инфу. И придумать, как пристегнуть к нашему сайту.

_________________
Galaxy S3 Duos+Galaxy Ace 2+Motorola MPx200+Nokia 3310
SAAB Team
Back to top
View user's profile Send private message
Druid
опытный
нетмониторщик


 BELNETMON Team

Joined: 29 Dec 2005
Posts: 1908

PostPosted: 06 Aug 2008 15:58    Post subject: Reply with quote

Для наглядности приведу скриншот из Google Earth. На снимке изображен участок границы Брестской и Минской областей в районе трассы М1.

Легенда:
- желтая линия - трасса М1
- белая линия - граница областей
- красный флаг с подписью 254/7 - точное месторасположение БС Велком №7
- красные метки с буквой 'G' - координаты и cid, которые выдал гугл

PS: данные из гугла старые, т.к. в БД гугла БС №7 еще закреплена за 202 лаком



test.jpg
 Description:
Скриншот из Google Earth
 Filesize:  94.91 KB
 Viewed:  33176 Time(s)

test.jpg


Back to top
View user's profile Send private message
Druid
опытный
нетмониторщик


 BELNETMON Team

Joined: 29 Dec 2005
Posts: 1908

PostPosted: 06 Aug 2008 16:16    Post subject: Reply with quote

Stalker wrote:
Druid, а загнать удава на сайт нельзя? spy

Надо узнавать есть ли поддержка питона у хостера confused
Stalker wrote:
Просканируй Бест по РБ, интересно есть там что? 8-0

БеСТ, лак 310, диапазон CID 33000:34000 - нет данных
БеСТ, лак 410, диапазон CID 43200:43800 - нет данных
БеСТ, лак 510, диапазон CID 53000:54000 - нет данных
Никто у беста не пользуется GPRS с их покрытием hammer



vel-bro.zip
 Description:
kml файлы полученные при сканировании 202, 253 и 254 лаков Велкома.

Download
 Filename:  vel-bro.zip
 Filesize:  4.26 KB
 Downloaded:  1205 Time(s)

Back to top
View user's profile Send private message
Stalker
почетный нетмониторщик


 BELNETMON Team

Joined: 24 Mar 2004
Posts: 9133
Location: Sochi

PostPosted: 06 Aug 2008 16:39    Post subject: Reply with quote

Druid, http://bn.by/services/hosting/features

А 110 15000-20000 spy
Back to top
View user's profile Send private message
TopFM
почетный нетмониторщик


 BELNETMON Team

Joined: 04 Aug 2005
Posts: 7768
Location: Сочи

PostPosted: 06 Aug 2008 18:07    Post subject: Reply with quote

Я не в теме. Вообще не понял КАК ЭТО позволяет находить новые БС...???
Поясните пожалуйста!

beer

_________________
Инженер радиосвязи
Back to top
View user's profile Send private message
nejest
профессиональный
нетмониторщик


 BELNETMON Team
 bytrans

Joined: 14 Mar 2004
Posts: 2238
Location: Минск/Гомель

PostPosted: 06 Aug 2008 19:48    Post subject: Reply with quote

Grip wrote:
Как я понял принцип работы такой: база пополняется за счет обработки информации о текущих координатах, LAC, CID, получаемых от коммуникаторов с GPS.
Для отображения текущего местоположения на карте гугл мапс отдается какая то расчетная средняя координата, если в базе есть информация о данном секторе БС. Например на телефоне SE W890i предустановлен javа аплет для работы с Google Maps и заявлен функционал определения координат по БС.

Конечно , точности определения координат пока никакой, но все равно интересно. Вот бы еще с Яндекса вытаскивать инфу. И придумать, как пристегнуть к нашему сайту.

Действительно полчается точность не очень, получается около 962 квадратных километров територия где может находится БС.

_________________
"Из глубины веков доходят до нас легенды о колдунах"
Кто бы мог подумать, что так может начинатся диплом по радиотехнике
Back to top
View user's profile Send private message
TopFM
почетный нетмониторщик


 BELNETMON Team

Joined: 04 Aug 2005
Posts: 7768
Location: Сочи

PostPosted: 06 Aug 2008 20:29    Post subject: Reply with quote

Получается, что все коммуникаторы работающие с ГуглМапс в РБ теперь априори являются нашими инсайдерами??? Я правильно понял?
_________________
Инженер радиосвязи
Back to top
View user's profile Send private message
Druid
опытный
нетмониторщик


 BELNETMON Team

Joined: 29 Dec 2005
Posts: 1908

PostPosted: 06 Aug 2008 20:31    Post subject: Reply with quote

topfm wrote:
Получается, что все коммуникаторы работающие с ГуглМапс в РБ теперь априори являются нашими инсайдерами??? Я правильно понял?

Прямо в яблочко ;-)
Back to top
View user's profile Send private message
Grip
опытный
нетмониторщик


 BELNETMON Team

Joined: 03 Aug 2005
Posts: 1194
Location: Gomel, BY

PostPosted: 07 Aug 2008 09:38    Post subject: Reply with quote

topfm wrote:
Получается, что все коммуникаторы работающие с ГуглМапс в РБ теперь априори являются нашими инсайдерами??? Я правильно понял?

Наши инсайдеры - это люди, которые работают в компаниях, связанных с GSM и потиху сливают нам инфу. В данном случае это скорее невольные нетмониторщики. LOL

Ловите скрипт для сканирования координат БС с Google Maps в файл wpt для OziExplorer. (с) netmonitor.ru
Немного модифицировал по аналогии со сканером под kml. (с) Druid ;-)

Как пользоваться:
в первой строке скрипта
Code:
net, lac, rnc = 25701, 302, 0
25701 и 302 код сети и номер лака соответственно, rnc - номер контроллера для 3G, у нас 0.
в восьмой строке
Code:
 for cid in range(65536)[2001:2703]:
цифры 2001 и 2703 указывают на диапазон значений CellID для перебора. В данном примере скрипт переберет все CID Велкома в 302 лаке начиная с CID 200.1 по 270.3


googscanwpt.rar
 Description:
скрипт для сканирования координат БС с Google Maps в файл wpt для OziExplorer

Download
 Filename:  googscanwpt.rar
 Filesize:  594 Bytes
 Downloaded:  978 Time(s)


_________________
Galaxy S3 Duos+Galaxy Ace 2+Motorola MPx200+Nokia 3310
SAAB Team


Last edited by Grip on 07 Aug 2008 10:12; edited 1 time in total
Back to top
View user's profile Send private message
Grip
опытный
нетмониторщик


 BELNETMON Team

Joined: 03 Aug 2005
Posts: 1194
Location: Gomel, BY

PostPosted: 07 Aug 2008 10:04    Post subject: Reply with quote

nejest wrote:
Действительно полчается точность не очень, получается около 962 квадратных километров територия где может находится БС.

nejest, не надо быть таким пессимистом. Гугл показывает не расположение БС, а усредненную координату зоны обслуживания данного сектора. Вот кусок скриншота как это выглядит на практике. По-моему очень даже прилично. Super! Видно направление секторов, оно канонически правильное, координата лежит на дороге. expert Конечно, данных в базе пока мало, но надеюсь с ростом количества коммуникаторов с GPS, база будет пополняться.



gs.jpg
 Description:
Координаты, которые выдает Google Maps по двум БС Велком на трассе Р31. Красным - наши данные, желтым - данные Google
 Filesize:  29.5 KB
 Viewed:  32005 Time(s)

gs.jpg



_________________
Galaxy S3 Duos+Galaxy Ace 2+Motorola MPx200+Nokia 3310
SAAB Team
Back to top
View user's profile Send private message
RAE
графоман


 bytrans

Joined: 19 Jan 2005
Posts: 2849
Location: Минск

PostPosted: 07 Aug 2008 10:32    Post subject: Reply with quote

забавная примочка... Вот бы такое, да на логгерах belnetmonа запустить... За месяц небольшая автобаза насобирает за месяц данных больше чем мы за год... smoke
_________________
Опыт есть умение применять взятые ненужные вещи взамен забытых нужных. (c)
Болею нетмониторингом с 20.08.2002... %)
Back to top
View user's profile Send private message Visit poster's website
nejest
профессиональный
нетмониторщик


 BELNETMON Team
 bytrans

Joined: 14 Mar 2004
Posts: 2238
Location: Минск/Гомель

PostPosted: 07 Aug 2008 11:47    Post subject: Reply with quote

Grip wrote:
nejest wrote:
Действительно полчается точность не очень, получается около 962 квадратных километров територия где может находится БС.

nejest, не надо быть таким пессимистом.

Я не пессимист, я реалист и поэтому считая, что от координат толку будет мало, считаю, что можно получать гораздо более достоверную информацию( например количество секторов на БС( т.е. не вкидывать в базы информацию из домыслов, как было с DSC у Велкома в Чёнках, а вносить только если информация о секторе появилась у Гугла)), определять какие БС в каком ЛАКе( что бывает полезно при появлении новых лаков).
Grip wrote:

Конечно, данных в базе пока мало, но надеюсь с ростом количества коммуникаторов с GPS, база будет пополняться.

Было бы полезно, если бы была возможность узнавать о появлении новых БС в базах Гугла...

_________________
"Из глубины веков доходят до нас легенды о колдунах"
Кто бы мог подумать, что так может начинатся диплом по радиотехнике
Back to top
View user's profile Send private message
Stalker
почетный нетмониторщик


 BELNETMON Team

Joined: 24 Mar 2004
Posts: 9133
Location: Sochi

PostPosted: 07 Aug 2008 12:08    Post subject: Reply with quote

Quote:
Было бы полезно, если бы была возможность узнавать о появлении новых БС в базах Гугла...
Дык так и есть, ёпрст! smoke

Для фанатов, сделал Диаллог в Минске и пригороде:



diallog.rar
 Description:
diallog.kml

Download
 Filename:  diallog.rar
 Filesize:  7.83 KB
 Downloaded:  745 Time(s)



Last edited by Stalker on 07 Aug 2008 13:08; edited 2 times in total
Back to top
View user's profile Send private message
TopFM
почетный нетмониторщик


 BELNETMON Team

Joined: 04 Aug 2005
Posts: 7768
Location: Сочи

PostPosted: 07 Aug 2008 12:14    Post subject: Reply with quote

Grip, вот скипт под Ози ресльно рулит! Super! roll
_________________
Инженер радиосвязи
Back to top
View user's profile Send private message
nejest
профессиональный
нетмониторщик


 BELNETMON Team
 bytrans

Joined: 14 Mar 2004
Posts: 2238
Location: Минск/Гомель

PostPosted: 07 Aug 2008 16:44    Post subject: Reply with quote

Stalker wrote:
Quote:
Было бы полезно, если бы была возможность узнавать о появлении новых БС в базах Гугла...
Дык так и есть, ёпрст! smoke

Вручную? Я имел в виду, чтобы можно было получать список новых (отсутствующих в наших базах) пар CID и LAC через скрипт.

_________________
"Из глубины веков доходят до нас легенды о колдунах"
Кто бы мог подумать, что так может начинатся диплом по радиотехнике
Back to top
View user's profile Send private message
Grip
опытный
нетмониторщик


 BELNETMON Team

Joined: 03 Aug 2005
Posts: 1194
Location: Gomel, BY

PostPosted: 07 Aug 2008 17:25    Post subject: Reply with quote

nejest, ну и что тебе дадут безымяные лак и цид?? Эти координаты надо грузить на карты, чтобы там анализировать вероятное расположение БС. Например, у нас есть координаты работающей, но не запущенной БС в каком-нибудь агрогордке. Грузим наши координаты, наверх грузим координаты с гугла и видим, три сектора этой БС вокруг населенного пункта.
В нашей работе часто ручной труд не заменишь никакой автоматизацией. Ты бы сначала сам попробовал поковырять координаты с гугла, а потом делал теоретические выкладки. expert

_________________
Galaxy S3 Duos+Galaxy Ace 2+Motorola MPx200+Nokia 3310
SAAB Team
Back to top
View user's profile Send private message
Stalker
почетный нетмониторщик


 BELNETMON Team

Joined: 24 Mar 2004
Posts: 9133
Location: Sochi

PostPosted: 07 Aug 2008 17:39    Post subject: Reply with quote

Grip wrote:
В нашей работе ...
забыл добавить: зачастую малооплачиваемой... LOL

smoke
Back to top
View user's profile Send private message
nejest
профессиональный
нетмониторщик


 BELNETMON Team
 bytrans

Joined: 14 Mar 2004
Posts: 2238
Location: Минск/Гомель

PostPosted: 07 Aug 2008 19:38    Post subject: Reply with quote

Grip wrote:
nejest, ну и что тебе дадут безымяные лак и цид??

Если я увижу к примеру 52 9834, то смогу, даже не смотря не координаты, предположить, что в Весёловке Добрушского р-на добавили как минимум 1 сектор. Имея достаточное число гипотез, я смогу прокатится и проверить их на соответствие действительности, не дожидаясь новости с mts.by
Grip wrote:

Эти координаты надо грузить на карты, чтобы там анализировать вероятное расположение БС. Например, у нас есть координаты работающей, но не запущенной БС в каком-нибудь агрогордке. Грузим наши координаты, наверх грузим координаты с гугла и видим, три сектора этой БС вокруг населенного пункта.

Это всего лишь гадание на кофейной гуще... Я против замены нетмониторинга на гадание на кофейной гуще. Максимум, что можно, используя информацию гугла, это внести информацию о целайди в базу( без лака конечно чтобы не мешало искать БС при помощи GPSCell), как это делается для промерянных БС с неустановленным местоположением( правда без информации о контрольных каналах т.к. её у гугла нет)
Grip wrote:

В нашей работе часто ручной труд не заменишь никакой автоматизацией.

Да ну!!! А как-же GPSCell, который не требует зниная напамять всех существующих сочетаний CID и LAC, а логеры какже, или ты всё в записную книжку записываешь?
Grip wrote:

Ты бы сначала сам попробовал поковырять координаты с гугла, а потом делал теоретические выкладки. expert

А толк с координат с точностью в примерно 962 кв. километра, если мы бьёмся за точность в +-100 метров?

_________________
"Из глубины веков доходят до нас легенды о колдунах"
Кто бы мог подумать, что так может начинатся диплом по радиотехнике


Last edited by nejest on 07 Aug 2008 19:41; edited 1 time in total
Back to top
View user's profile Send private message
Druid
опытный
нетмониторщик


 BELNETMON Team

Joined: 29 Dec 2005
Posts: 1908

PostPosted: 08 Dec 2008 20:47    Post subject: Reply with quote

Тоже поигрался 5 минут с Гуглом, в итоге:
VEL ; 254 ; 182.x ; Барановичи ; 53.118743 ; 26.028698 ; *
Back to top
View user's profile Send private message
TopFM
почетный нетмониторщик


 BELNETMON Team

Joined: 04 Aug 2005
Posts: 7768
Location: Сочи

PostPosted: 08 Dec 2008 23:53    Post subject: Reply with quote

Что-то мой ГугльЗмей в конце рабочего дня объелся и отказался работать...
Завтра буду лечить и вакцинировать... Надо же как-нибудь МТС выкуривать...

_________________
Инженер радиосвязи
Back to top
View user's profile Send private message
Display posts from previous:   
Post new topic   Reply to topic    forum.esmasoft.com Forum Index -> BELNETMON All times are UTC + 3 Hours
Goto page 1, 2, 3 ... 13, 14, 15  Next
Page 1 of 15
 
Jump to:  
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum
You cannot attach files in this forum
You can download files in this forum


Powered by phpBB © 2001, 2005 phpBB Group

0.241 sec