View previous topic :: View next topic |
Author |
Message |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6937 Location: Minsk
|
Posted: 01 Apr 2016 00:47 Post subject: CityInfo:OSMView |
|
|
Крыху новы накірунак звыклых рэчаў на першае красавіка.
Без абяцанняў і гарантый. Адвядзіце, калі ласка, хатніх гаспадыняў ад клавіятуры.
Quote: |
Бягучая версія 0.2.12.2 ад 10.11.2018 |
1) Спампаваць праграму і распакаваць (няхай гэта будзе папка osmview).
2) Спампаваць тут ці тут пажаданыя дадзеныя (у фармаце osm.bz2 ці osm.pbf). Фармат osm.pbf патрабуе меней вольнага месца і заўважна хутчэйшы ў апрацоўцы.
2.1) Распакаваць змест архіва osm.bz2 (няхай гэта будзе osmview\data\map.osm). Файл osm.pbf гатовы да ўжывання без распакоўкі.
3) Сканвертаваць map.osm ці map.osm.pbf у прыдатную да наступнай апрацоўкі форму з дапамогай праграмы osm2bin.exe:
Code: |
osmview\utils\osm2bin.exe osmview\data\map.osm |
альбо
Code: |
osmview\utils\osm2bin.exe osmview\data\map.osm.pbf |
Пасля даволі працяглай канвертацыі маем на выхадзе файл map.oso (там жа, дзе і быў map.osm/map.osm.pbf)
4) Сканвертаваць map.oso у фармат праглядаемай праз osmview мапы:
Code: |
osmview\utils\osmbin2map.exe osmview\data\map.oso -c:osmview\config\default\classmap.xml |
Пасля значна меней працяглай канвертацыі маем на выхадзе файл map.act
5) Запусціць osmview\osmview.exe.
5.1) У меню "Уціліты\Наладка" ("Utilities\Setup") ставім спасылку на папку класіфікатара osmview\config\default
5.2) У меню "Файл\Пласты" (File\Layers) дадаем map.act
Выглядаць павінна недзе так:
Расфарбоўка і астатнія паляпшэнні маюць чакацца крыху пазней праз пашыраныя версіі канфігурацыйных файлаў osmview\config\ClassMap.xml і osmview\config\default\default.clf.
На жаль, зручнай працы "з каробкі" абяцаць пакуль немагчыма з прычыны значнай колькасці дзеянняў, якія карыстальнік мае зрабіць самастойна.
Папярэднія версіі:
2018-05-23. 0.2.12.1
2018-02-18. 0.2.11.1
2018-01-21. 0.2.10.1
2017-12-28. 0.2.9.3
2017-12-19. 0.2.9.2
2017-10-23. 0.2.8.2
2017-10-10. 0.2.8.1
2017-09-16. 0.2.7.5
2017-06-19. 0.2.7.4
2017-03-27. 0.2.7.3
2017-02-24. 0.2.7.2
2017-01-30. 0.2.6.2
2016-12-26. 0.2.5.1
2016-11-02. 0.2.4.3
2016-11-01. 0.2.4.2
2016-10-31. 0.2.4.1
2016-09-19. 0.2.3.1
2016-08-17. 0.2.2.1
2016-06-19. 0.2.1.1
2016-06-01. 0.0.1.3
2016-04-27. 0.0.1.2
2016-04-01. 0.0.1.1
_________________ Боюсь, у меня нет никаких фобий...

Last edited by Kong En Ge on 10 Nov 2018 17:39; edited 36 times in total |
|
Back to top |
|
 |
Andrew писатель

Joined: 12 Dec 2003 Posts: 137 Location: Minsk
|
Posted: 03 Nov 2016 15:54 Post subject: |
|
|
Для личных целей набросал - может кому сгодится:
Quote: |
@echo off
echo %DATE% %TIME% Скачиваем последнюю версию карты в формате pbf >> logs\out.txt
utils\wget --no-check-certificate -O d:/osmview/data/BY.osm.pbf http://data.gis-lab.info/osm_dump/dump/latest/BY.osm.pbf
echo %DATE% %TIME% Первый этап конвертации: .pbf в .oso >> logs\out.txt
utils\osm2bin.exe data\by.osm.pbf
echo %DATE% %TIME% Второй этап конвертации: .oso в .act >> logs\out.txt
utils\osmbin2map.exe data\by.oso -c:config\classmap.xml
echo %DATE% %TIME% Окончание конвертации >> logs\out.txt
|
Предварительно создал папку logs - туда этапы выполнения и пишутся.
Соответственно в системе должен присутствовать wget.
Мой результирующий лог:
Quote: |
03.11.2016 15:19:02,53 Скачиваем последнюю версию карты в формате pbf
03.11.2016 15:21:48,34 Первый этап конвертации: .pbf в .oso
03.11.2016 15:33:09,89 Второй этап конвертации: .oso в .act
03.11.2016 15:47:24,41 Окончание конвертации
|
|
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6937 Location: Minsk
|
Posted: 26 Dec 2016 12:41 Post subject: |
|
|
0.2.5.1
Усе дробныя змены за апошнія 2 месяцы.
Файлы ад папярэдніх версій osmbin2map не падыходзяць.
Каларадшчына вітае патэнцыйных упырхлікаў:
_________________ Боюсь, у меня нет никаких фобий...

Last edited by Kong En Ge on 19 Jan 2017 12:44; edited 1 time in total |
|
Back to top |
|
 |
Andrew писатель

Joined: 12 Dec 2003 Posts: 137 Location: Minsk
|
Posted: 27 Dec 2016 16:42 Post subject: |
|
|
Или мне кажется или Ратомка перекочевала в зеленую зону или ее покрошили на подземелья.
|
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6937 Location: Minsk
|
|
Back to top |
|
 |
dzmitryli молчун
Joined: 02 Nov 2014 Posts: 4
|
Posted: 02 Jan 2017 13:45 Post subject: |
|
|
Ха. Ха. Ха.
Дыка як некалькі гадоў таму з гаўном мяшалі OSM
_________________ Беларускамоўная Беларусь |
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6937 Location: Minsk
|
Posted: 03 Jan 2017 09:54 Post subject: |
|
|
dzmitryli, Мае негатыўнае меркаванне адносна якасці дадзеных OSM толькі ўмацавалася за час спробаў практычнага ўжывання -- натоўпавая мадэль можа стварыць хіба што сметніцу. Роўна як і з крыніцамі напаўнення: аматарскага POI-смецця шмат, а змястоўныя масівы дадзеных прыйшлі відавочна не з абходу з трэкерам ці хаця б абмалёўкі з дазволеных фотаздымкаў.
_________________ Боюсь, у меня нет никаких фобий...
 |
|
Back to top |
|
 |
Andrew писатель

Joined: 12 Dec 2003 Posts: 137 Location: Minsk
|
Posted: 25 Jan 2017 08:23 Post subject: |
|
|
Может не совсем в тему но спрошу.
Пытался чехию сконвертировать - получил ошибку:
Quote: |
D:\osmview>utils\osmbin2map.exe data\czech.oso -c:config\classmap.xml
CityInfo:OSMbin2map converter (0.2.5.1)
Exception EFOpenError in module osmbin2map.exe at 000305F2.
Cannot open file data\czech.oso. |
Я что-то делаю не так или конвертер только под размеры РБ заточен?
|
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6937 Location: Minsk
|
Posted: 25 Jan 2017 09:45 Post subject: |
|
|
Andrew, я посмотрю. Специфических ограничений нет. Из известных мне багов -- только неправильная работа с выводом текстов справа налево.
А чего мелкая Чехия такая здоровая по объему файла?! Вот уж чего не ожидал
_________________ Боюсь, у меня нет никаких фобий...
 |
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6937 Location: Minsk
|
Posted: 25 Jan 2017 15:17 Post subject: |
|
|
Да, есть проблема для неординарно больших файлов (в лоб отобразить в память процесса 2+Гб -- это не то, что делается каждый день). Надо подумать, как выкрутиться из нее не в большой ущерб быстродействию.
_________________ Боюсь, у меня нет никаких фобий...
 |
|
Back to top |
|
 |
Andrew писатель

Joined: 12 Dec 2003 Posts: 137 Location: Minsk
|
Posted: 25 Jan 2017 15:57 Post subject: |
|
|
Kong En Ge, блоками(кусками) обрабатывать совсем никак не получится?
|
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6937 Location: Minsk
|
Posted: 25 Jan 2017 17:34 Post subject: |
|
|
Andrew, Неприменимо в силу неупорядоченности оригинальных данных (т.е. с большой вероятностью КПД отдельного блока будет очень невелик при заметных затратах на управление блочностью).
Но уже найдено другое обходное решение, осталось только проверить.
_________________ Боюсь, у меня нет никаких фобий...
 |
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6937 Location: Minsk
|
Posted: 30 Jan 2017 21:31 Post subject: |
|
|
0.2.6.2
Канвертацыя пераробленая пад апрацоўку бОльшых файлаў. Памер дапаможнага .oso-файла скарочаны больш як у 2 разы. Адпаведна файлы ад папярэдніх версій osm2bin/osmbin2map не падыходзяць.
Даданая падтрымка перакладаў класіфікатара (гл. файл default.bel.cln)
Прага для Andrew:
_________________ Боюсь, у меня нет никаких фобий...
 |
|
Back to top |
|
 |
Andrew писатель

Joined: 12 Dec 2003 Posts: 137 Location: Minsk
|
Posted: 31 Jan 2017 08:58 Post subject: |
|
|
Спасибо за доработку.
Пожелание(замечание) - при просмотре всей карты страны программа пытается прорисовать всю детализацию - даже ту что глазом не различить. Может можно прорисовку как-то ограничить?
|
|
Back to top |
|
 |
Andrew писатель

Joined: 12 Dec 2003 Posts: 137 Location: Minsk
|
Posted: 31 Jan 2017 09:16 Post subject: |
|
|
Еще в догонку - сделать опциональным выделение N Mb оперативки под задачи конвертера(чтоб каждый смог по своим возможностям выбирать). А то и проц ни память задействованы не в полной мере. Проц не более 15% памяти еще гига 2 в запасе при работающем конверторе.
|
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6937 Location: Minsk
|
Posted: 31 Jan 2017 10:09 Post subject: |
|
|
Quote: |
при просмотре всей карты страны программа пытается прорисовать всю детализацию - даже ту что глазом не различить. Может можно прорисовку как-то ограничить? |
Генерализация (вывод объектов по типам в зависимости от масштаба) есть. Но есть и ожидаемые сложности:
1) Неклассифицированные объекты, которые настроены на "показывать всегда". Их, конечно, все меньше, но каждый раз, когда берешь новую территорию, сталкиваешься с тем, что там сложились свои традиции, не отраженные в текущей классификации. И пока новые правила не введешь -- видишь много неразобранного.
2) Динамическая генерализация с уменьшением детализации будет и затратна, и неочевидна в реализации.
Правильный стратегический выход -- дробление территории для конвертации. Так, чтобы выходной файл получался до 200М (оценка из опыта). Ну, и можно попробовать по-другому настроить генерализацию вывода; потому что сейчас сделан большой упор на раннее отображение информации.
Quote: |
Еще в догонку - сделать опциональным выделение N Mb оперативки под задачи конвертера(чтоб каждый смог по своим возможностям выбирать). А то и проц ни память задействованы не в полной мере. Проц не более 15% памяти еще гига 2 в запасе при работающем конверторе. |
С выделением оперативной памяти мы намного быстрее упираемся в то, что процесс пока 32-битный и тупо заканчивается адресное пространство
Догружать процессор через многопоточность -- надо пробовать, но не везде получится из-за необходимости синхронизации обработки.
_________________ Боюсь, у меня нет никаких фобий...
 |
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6937 Location: Minsk
|
Posted: 24 Feb 2017 18:57 Post subject: |
|
|
0.2.7.2
Канвертацыя пераробленая на карысць паралельнай апрацоўкі, дзе гэта апынулася магчымым. Выкарыстанне магутнасцяў у моманце ўзрасло прыблізна двухразова, агульны час апрацоўкі зменшыўся прыблізна на траціну. Змены тычацца толькі апрацоўкі дадзеных у .pbf-фармаце, аптымізацыі імпарту з .osm xml надалей не плануецца.
Адпаведна паводле склаўшайся практыцы файлы ад папярэдніх версій osm2bin/osmbin2map не падыходзяць.
Будапешт:
У бліжэйшых планах пэўны перагляд тэхналогіі падрыхтоўкі праграмы з мэтай атрымання больш лаяльнага стаўлення з боку асобных антывірусных праграмаў.
_________________ Боюсь, у меня нет никаких фобий...
 |
|
Back to top |
|
 |
Andrew писатель

Joined: 12 Dec 2003 Posts: 137 Location: Minsk
|
Posted: 24 Feb 2017 23:00 Post subject: |
|
|
Quote: |
24.02.2017 19:35:28,21 Скачиваем последнюю версию карты в формате pbf
24.02.2017 19:36:55,78 Первый этап конвертации: .pbf в .oso
24.02.2017 19:43:35,99 Второй этап конвертации: .oso в .act
24.02.2017 19:56:45,35 Окончание конвертации
|
Результаты работы последней версии.
|
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6937 Location: Minsk
|
Posted: 25 Feb 2017 00:50 Post subject: |
|
|
Andrew, В %user%\Application Data\ESMA в папках osm2bin и osmbin2map лежат логи с более детальным раскладом, если что
_________________ Боюсь, у меня нет никаких фобий...
 |
|
Back to top |
|
 |
Andrew писатель

Joined: 12 Dec 2003 Posts: 137 Location: Minsk
|
Posted: 25 Feb 2017 09:33 Post subject: |
|
|
Kong En Ge, ранее я выкладывал статистику конвертации предыдущей версии - для меня важно только скорость прохождения конкретного этапа. Остальное - отладочная информация для разработчика
|
|
Back to top |
|
 |
Andrew писатель

Joined: 12 Dec 2003 Posts: 137 Location: Minsk
|
Posted: 09 Mar 2017 16:12 Post subject: |
|
|
Quote: |
09.03.2017 15:57:16,01 Скачиваем последнюю версию карты в формате pbf
09.03.2017 15:57:55,34 Первый этап конвертации: .pbf в .oso
09.03.2017 16:00:54,80 Второй этап конвертации: .oso в .act
09.03.2017 16:00:55,08 Окончание конвертации
|
Перегнав весь процесс конвертации на ram-диск получилось достаточно быстро все сконвертировать. Но все равно загрузка процессора колебалась в диапазоне 30-50%
Скорее всего в конвертере не задействуются возможности современных процессоров- печалька.
|
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6937 Location: Minsk
|
Posted: 10 Mar 2017 14:21 Post subject: |
|
|
Quote: |
Скорее всего в конвертере не задействуются возможности современных процессоров- печалька. |
Вопрос не в процессорах, а в возможности распараллелить вычисления. С ростом количества потоков по ядрам эффективность падает в точках синхронизации действий.
_________________ Боюсь, у меня нет никаких фобий...
 |
|
Back to top |
|
 |
Andrew писатель

Joined: 12 Dec 2003 Posts: 137 Location: Minsk
|
Posted: 11 Mar 2017 13:32 Post subject: |
|
|
Даже на отдельно взятом ядре нагрузка не превышает 50% – я про это. При том что обращение к диску сведено к 0(virtual ram drive)
|
|
Back to top |
|
 |
Tutankhamon молчун
Joined: 25 Mar 2017 Posts: 3
|
Posted: 25 Mar 2017 11:59 Post subject: |
|
|
Добрый день
Как то не корректно работает отображение последних карт
тут
|
|
Back to top |
|
 |
Stalker почетный нетмониторщик

BELNETMON Team
Joined: 24 Mar 2004 Posts: 9238 Location: Sochi
|
Posted: 25 Mar 2017 23:42 Post subject: |
|
|
Quote: |
Геабаза [ISF] C:\Program Files\ESMA Ltd\OSM\data\BY.act
Клас.код: 44100000 (плошчавы)
Будынак
BN Нумар будынка: 25
Перыметр аб'екта: 96.3 м
Плошча аб'екта: 579.4 м²
Колькасць кропак: 5 |
номера домов есть, а букв улиц нет
не похристьянски ето, братья шахиды
|
|
Back to top |
|
 |
Andrew писатель

Joined: 12 Dec 2003 Posts: 137 Location: Minsk
|
Posted: 27 Mar 2017 11:30 Post subject: |
|
|
Tutankhamon, никаких косяков не замечено. Перекачать и перекомпилировать.
|
|
Back to top |
|
 |
|
|