View previous topic :: View next topic |
Author |
Message |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6936 Location: Minsk
|
Posted: 01 Apr 2016 00:47 Post subject: CityInfo:OSMView |
|
|
Крыху новы накірунак звыклых рэчаў на першае красавіка.
Без абяцанняў і гарантый. Адвядзіце, калі ласка, хатніх гаспадыняў ад клавіятуры.
Quote: |
Бягучая версія 0.2.12.2 ад 10.11.2018 |
1) Спампаваць праграму і распакаваць (няхай гэта будзе папка osmview).
2) Спампаваць тут ці тут пажаданыя дадзеныя (у фармаце osm.bz2 ці osm.pbf). Фармат osm.pbf патрабуе меней вольнага месца і заўважна хутчэйшы ў апрацоўцы.
2.1) Распакаваць змест архіва osm.bz2 (няхай гэта будзе osmview\data\map.osm). Файл osm.pbf гатовы да ўжывання без распакоўкі.
3) Сканвертаваць map.osm ці map.osm.pbf у прыдатную да наступнай апрацоўкі форму з дапамогай праграмы osm2bin.exe:
Code: |
osmview\utils\osm2bin.exe osmview\data\map.osm |
альбо
Code: |
osmview\utils\osm2bin.exe osmview\data\map.osm.pbf |
Пасля даволі працяглай канвертацыі маем на выхадзе файл map.oso (там жа, дзе і быў map.osm/map.osm.pbf)
4) Сканвертаваць map.oso у фармат праглядаемай праз osmview мапы:
Code: |
osmview\utils\osmbin2map.exe osmview\data\map.oso -c:osmview\config\default\classmap.xml |
Пасля значна меней працяглай канвертацыі маем на выхадзе файл map.act
5) Запусціць osmview\osmview.exe.
5.1) У меню "Уціліты\Наладка" ("Utilities\Setup") ставім спасылку на папку класіфікатара osmview\config\default
5.2) У меню "Файл\Пласты" (File\Layers) дадаем map.act
Выглядаць павінна недзе так:
Расфарбоўка і астатнія паляпшэнні маюць чакацца крыху пазней праз пашыраныя версіі канфігурацыйных файлаў osmview\config\ClassMap.xml і osmview\config\default\default.clf.
На жаль, зручнай працы "з каробкі" абяцаць пакуль немагчыма з прычыны значнай колькасці дзеянняў, якія карыстальнік мае зрабіць самастойна.
Папярэднія версіі:
2018-05-23. 0.2.12.1
2018-02-18. 0.2.11.1
2018-01-21. 0.2.10.1
2017-12-28. 0.2.9.3
2017-12-19. 0.2.9.2
2017-10-23. 0.2.8.2
2017-10-10. 0.2.8.1
2017-09-16. 0.2.7.5
2017-06-19. 0.2.7.4
2017-03-27. 0.2.7.3
2017-02-24. 0.2.7.2
2017-01-30. 0.2.6.2
2016-12-26. 0.2.5.1
2016-11-02. 0.2.4.3
2016-11-01. 0.2.4.2
2016-10-31. 0.2.4.1
2016-09-19. 0.2.3.1
2016-08-17. 0.2.2.1
2016-06-19. 0.2.1.1
2016-06-01. 0.0.1.3
2016-04-27. 0.0.1.2
2016-04-01. 0.0.1.1 _________________ Боюсь, у меня нет никаких фобий...

Last edited by Kong En Ge on 10 Nov 2018 17:39; edited 36 times in total |
|
Back to top |
|
 |
Mixail молчун
Joined: 11 Nov 2010 Posts: 5
|
Posted: 07 Jul 2016 21:50 Post subject: |
|
|
Kong En Ge, Выбрал, заработало!
Там стоял очень странный дефолт:
%USERPROFILE%\AppData\Local\CityInfo\OSMView\Class\
Особенно интересно он смотрится с учетом того, что OSMView своё добро хранит в Roaming, а не Local.
Может, стоит исправить на <рабочий каталог>\data ?
-----
Ещё хотелка: в окне со слоями первым пунктом поставить ISF, а то постоянно нужно переключаться. |
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6936 Location: Minsk
|
Posted: 07 Jul 2016 22:34 Post subject: |
|
|
Quote: |
Там стоял очень странный дефолт: |
А пока вообще никакой внятной политики хранения данных нет, отсюда и необходимость все настраивать вручную поначалу.
Quote: |
Ещё хотелка: в окне со слоями первым пунктом поставить ISF, а то постоянно нужно переключаться. |
Так запоминает же последнее значение. _________________ Боюсь, у меня нет никаких фобий...
 |
|
Back to top |
|
 |
Mixail молчун
Joined: 11 Nov 2010 Posts: 5
|
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6936 Location: Minsk
|
Posted: 11 Jul 2016 13:47 Post subject: |
|
|
Quote: |
Вопрос, а идентификаторы узлов у вас восьмибайтные? |
Вы про node/way/relation ID в OSM? Да, int64. Это 8 байт. А проблема с 4-байтовым int32. _________________ Боюсь, у меня нет никаких фобий...
 |
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6936 Location: Minsk
|
Posted: 17 Aug 2016 23:30 Post subject: |
|
|
0.2.2.1
1) Бягучая канфігурацыя пакрывае класіфікацыяй больш за 98% са зместу зыходнага дампа.
2) На ~20% зменшаны аб'ём памяці пад дадзеныя загружанай мапы (дзе было 90М стала 70М). З гэтай нагоды старыя .oso файлы трэба сканвертаваць паўторна праз OSMbin2map, каб выкарыстоўваць у апошняй OSMView.
Тбілісі з намі:
 _________________ Боюсь, у меня нет никаких фобий...

Last edited by Kong En Ge on 19 Jan 2017 12:42; edited 1 time in total |
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6936 Location: Minsk
|
Posted: 19 Sep 2016 19:06 Post subject: |
|
|
0.2.3.1
1. Выпраўлена пэўная колькасць праблем з імпартам вялікіх файлаў (у якасці выпрабавання паспяхова апрацаваны зыходны файл памерам у 9 гігабайт).
2. Даданая украінская лакалізацыя.
Вітаем у Кіеве:
 _________________ Боюсь, у меня нет никаких фобий...

Last edited by Kong En Ge on 19 Jan 2017 12:43; edited 1 time in total |
|
Back to top |
|
 |
genom писатель
Joined: 13 Aug 2005 Posts: 114 Location: Minsk
|
Posted: 04 Oct 2016 22:48 Post subject: |
|
|
Пасля выканання гэтага усяго непатрэбства працесса, файл belarus-latest.osm ужо непатрэбны i яго можна удалiць? Для працы праглядальнiка неабходныя толькi act ды oso файлы? |
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6936 Location: Minsk
|
Posted: 04 Oct 2016 23:15 Post subject: |
|
|
genom, Нават .oso непатрэбны, калі абмяжоўвацца толькі праглядам. _________________ Боюсь, у меня нет никаких фобий...
 |
|
Back to top |
|
 |
Andrew писатель

Joined: 12 Dec 2003 Posts: 137 Location: Minsk
|
Posted: 30 Oct 2016 13:08 Post subject: |
|
|
Как насчет того чтоб раз в квартал выкладывать полностью собранный(сконвертированный) комплект?
Могу сам это делать - по крайней мере по РБ. |
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6936 Location: Minsk
|
Posted: 30 Oct 2016 14:26 Post subject: |
|
|
Quote: |
Как насчет того чтоб раз в квартал выкладывать полностью собранный(сконвертированный) комплект? |
Комплект чего? Программа и так выкладывается не реже раза в два месяца.
А данные пусть каждый себе сгенерирует какие хочет: мне и хостинг не нагружать, и в холивары по поводу открытой лицензии не вступать  _________________ Боюсь, у меня нет никаких фобий...
 |
|
Back to top |
|
 |
TarasBY молчун

Joined: 30 Oct 2016 Posts: 1
|
Posted: 30 Oct 2016 14:49 Post subject: Поиск |
|
|
А поиск (на карте) у сей реализации есть? |
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6936 Location: Minsk
|
Posted: 31 Oct 2016 10:51 Post subject: |
|
|
Quote: |
А поиск (на карте) у сей реализации есть? |
Пока нет. Но будет. _________________ Боюсь, у меня нет никаких фобий...
 |
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6936 Location: Minsk
|
Posted: 31 Oct 2016 18:34 Post subject: |
|
|
0.2.4.1
1) Даданая падтрымка .pbf-фармату зыходных дадзеных (у разы меншых і хутчэйшых у апрацоўцы). Імпарт з .osm таксама нікуды не падзеўся, калі каму патрэбны.
2) Выпраўлена пэўная колькасць хібаў "знутры"
3) Канфігурацыя імпарту належна разбірае пераважную большасць аб'ектаў. Пачынаем рух у бок паляпшэння генералізацыі і знешняга выгляду.
Ерэван у эфіры:
 _________________ Боюсь, у меня нет никаких фобий...

Last edited by Kong En Ge on 19 Jan 2017 12:43; edited 1 time in total |
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6936 Location: Minsk
|
Posted: 01 Nov 2016 10:41 Post subject: Re: CityInfo:OSMView |
|
|
0.2.4.2
Невялікія выпраўленні пад знойдзеныя на Паўночнай Карэі асаблівасці дадзеных (пачынаць ад osm2bin). Дзякуем клану таварышаў Кімаў за належнае тэрафармаванне. _________________ Боюсь, у меня нет никаких фобий...

Last edited by Kong En Ge on 19 Jan 2017 12:43; edited 1 time in total |
|
Back to top |
|
 |
Andrew писатель

Joined: 12 Dec 2003 Posts: 137 Location: Minsk
|
Posted: 02 Nov 2016 11:47 Post subject: |
|
|
Можно ли утилиты конвертации заставить в бОльшей степени использовать оперативную память с целью минимизации обращения к жесткому диску?
Не помешало бы иметь возможность задавать путь выходного файла(при наличии нескольких дисков в системе это ускорило бы процесс конвертации). |
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6936 Location: Minsk
|
Posted: 02 Nov 2016 14:07 Post subject: |
|
|
Andrew, osm2bin -- линейный по доступу к исходному файлу процесс, сокращать дисковые операции негде.
osmbin2map изначально проецирует исходный файл в память, и уже операционка решает, как ей лучше предоставить доступ -- чтением или хранением в памяти (подозреваю, что в силу интенсивного доступа к разным частям файла, содержимое также оказывается в памяти, если объем не жмет).
Пути выходного файла есть: второй параметр в osm2bin и osmbin2map. Но есть подозрение, что не окажет существенного влияния: основная запись выходных данных начинается уже после чтения входных. Есть еще промежуточные файлы в temp-каталоге, но как мне представляется, основное потребление времени -- это не файловые операции. Много тянул парсинг оригинального xml, но с переходом на pbf ситуация улучшилась раз в 5. _________________ Боюсь, у меня нет никаких фобий...
 |
|
Back to top |
|
 |
Andrew писатель

Joined: 12 Dec 2003 Posts: 137 Location: Minsk
|
Posted: 02 Nov 2016 14:40 Post subject: |
|
|
При конвертации загрузка процессора не превышала 15%.
Времени конвертации при переходе на pbf: 1 этап - 13 мин., 2 этап - 14 -мин. |
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6936 Location: Minsk
|
Posted: 02 Nov 2016 15:00 Post subject: |
|
|
Quote: |
загрузка процессора не превышала 15%. |
Совокупно или на ядро? Там параллелить не очень получается на ядра.
Quote: |
при переходе на pbf: 1 этап - 13 мин |
А был, поди, под час?  _________________ Боюсь, у меня нет никаких фобий...
 |
|
Back to top |
|
 |
Andrew писатель

Joined: 12 Dec 2003 Posts: 137 Location: Minsk
|
Posted: 02 Nov 2016 15:04 Post subject: |
|
|
Загрузка процессора - совокупно.
С предыдущим форматом было минут ~40. |
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6936 Location: Minsk
|
Posted: 02 Nov 2016 15:16 Post subject: |
|
|
Quote: |
Загрузка процессора - совокупно. |
можно попробовать еще вдвое срезать время на osm2bin с учетом независимо-блочной структуры pbf; хотя на уже достигнутых временах задача больше академического интереса _________________ Боюсь, у меня нет никаких фобий...
 |
|
Back to top |
|
 |
Andrew писатель

Joined: 12 Dec 2003 Posts: 137 Location: Minsk
|
Posted: 02 Nov 2016 15:28 Post subject: |
|
|
Исходя из мониторинга ресурсов, во время конвертации самый активный обмен данными был в папке TEMP. Попробую поиграться с размещением файлов конвертации на виртуальном диске(в оперативной памяти).
Размер используемой оперативной памяти на протяжении всего этапа конвертации практически не менялся(в запасе не менее 2 гиг оперативы) |
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6936 Location: Minsk
|
Posted: 02 Nov 2016 15:32 Post subject: |
|
|
Quote: |
в запасе не менее 2 гиг оперативы |
Когда у меня закончилась память на лобовой конвертации Украины, пришлось в качестве основного решения использовать файлы
Время простых решений прошло, теперь нужно тоньше подбирать способы. _________________ Боюсь, у меня нет никаких фобий...
 |
|
Back to top |
|
 |
Andrew писатель

Joined: 12 Dec 2003 Posts: 137 Location: Minsk
|
Posted: 02 Nov 2016 15:44 Post subject: |
|
|
На виртуальном диске первый этап завершился через 6 минут.
И все равно самым медленным участком является папка temp а она на физическом диске у меня.
Если получится в ближайшее время нарастить оперативку то и temp вынесу на виртуальный диск.
Останется только чисто алгоритм конвертации. |
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6936 Location: Minsk
|
Posted: 02 Nov 2016 20:20 Post subject: |
|
|
Quote: |
На виртуальном диске первый этап завершился через 6 минут. |
Я на скорую руку добавил более умного кэширования по записи (0.2.4.3, можно скачать). Примерно -39% по времени на osm2bin (35с->20c) и -22% (31c->24c) на osmbin2map.
Можно еще попробовать многопоточность, но там не очевидно, что более значимо будет: параллельность вычислений или синхронизация. _________________ Боюсь, у меня нет никаких фобий...
 |
|
Back to top |
|
 |
Kong En Ge DevTeam

Joined: 05 Nov 2003 Posts: 6936 Location: Minsk
|
Posted: 02 Nov 2016 20:22 Post subject: Re: CityInfo:OSMView |
|
|
0.2.4.3
Эксперыментальныя змены на карысць хуткасці апрацоўкі. Дзякую Andrew за навядзенне на думку. _________________ Боюсь, у меня нет никаких фобий...

Last edited by Kong En Ge on 19 Jan 2017 12:44; edited 1 time in total |
|
Back to top |
|
 |
|
|