forum.esmasoft.com
Fresh posts
 
 FAQFAQ  SearchSearch   MemberlistMemberlist   UsergroupsUsergroups   RegisterRegister 
 ProfileProfile   Log in to check your private messagesLog in to check your private messages   Log inLog in 

CityInfo:OSMView
общественный транспорт городов Беларуси
Goto page Previous  1, 2, 3, 4, 5, 6, 7, 8  Next
 
Post new topic   Reply to topic    forum.esmasoft.com Forum Index -> CityInfo®
View previous topic :: View next topic  
Author Message
Kong En Ge
DevTeam


Joined: 05 Nov 2003
Posts: 6936
Location: Minsk

PostPosted: 01 Apr 2016 00:47    Post subject: CityInfo:OSMView Reply with quote

Крыху новы накірунак звыклых рэчаў на першае красавіка.
Без абяцанняў і гарантый. Адвядзіце, калі ласка, хатніх гаспадыняў ад клавіятуры.

Quote:
Бягучая версія 0.2.12.2 ад 10.11.2018


1) Спампаваць праграму і распакаваць (няхай гэта будзе папка osmview).
2) Спампаваць тут ці тут пажаданыя дадзеныя (у фармаце osm.bz2 ці osm.pbf). Фармат osm.pbf патрабуе меней вольнага месца і заўважна хутчэйшы ў апрацоўцы.
2.1) Распакаваць змест архіва osm.bz2 (няхай гэта будзе osmview\data\map.osm). Файл osm.pbf гатовы да ўжывання без распакоўкі.
3) Сканвертаваць map.osm ці map.osm.pbf у прыдатную да наступнай апрацоўкі форму з дапамогай праграмы osm2bin.exe:
Code:
osmview\utils\osm2bin.exe osmview\data\map.osm

альбо
Code:
osmview\utils\osm2bin.exe osmview\data\map.osm.pbf

Пасля даволі працяглай канвертацыі маем на выхадзе файл map.oso (там жа, дзе і быў map.osm/map.osm.pbf)
4) Сканвертаваць map.oso у фармат праглядаемай праз osmview мапы:
Code:
osmview\utils\osmbin2map.exe osmview\data\map.oso -c:osmview\config\default\classmap.xml

Пасля значна меней працяглай канвертацыі маем на выхадзе файл map.act
5) Запусціць osmview\osmview.exe.
5.1) У меню "Уціліты\Наладка" ("Utilities\Setup") ставім спасылку на папку класіфікатара osmview\config\default
5.2) У меню "Файл\Пласты" (File\Layers) дадаем map.act

Выглядаць павінна недзе так:


Расфарбоўка і астатнія паляпшэнні маюць чакацца крыху пазней праз пашыраныя версіі канфігурацыйных файлаў osmview\config\ClassMap.xml і osmview\config\default\default.clf.

На жаль, зручнай працы "з каробкі" абяцаць пакуль немагчыма з прычыны значнай колькасці дзеянняў, якія карыстальнік мае зрабіць самастойна.

Папярэднія версіі:
2018-05-23. 0.2.12.1
2018-02-18. 0.2.11.1
2018-01-21. 0.2.10.1
2017-12-28. 0.2.9.3
2017-12-19. 0.2.9.2
2017-10-23. 0.2.8.2
2017-10-10. 0.2.8.1
2017-09-16. 0.2.7.5
2017-06-19. 0.2.7.4
2017-03-27. 0.2.7.3
2017-02-24. 0.2.7.2
2017-01-30. 0.2.6.2
2016-12-26. 0.2.5.1
2016-11-02. 0.2.4.3
2016-11-01. 0.2.4.2
2016-10-31. 0.2.4.1
2016-09-19. 0.2.3.1
2016-08-17. 0.2.2.1
2016-06-19. 0.2.1.1
2016-06-01. 0.0.1.3
2016-04-27. 0.0.1.2
2016-04-01. 0.0.1.1

_________________
Боюсь, у меня нет никаких фобий...


Last edited by Kong En Ge on 10 Nov 2018 17:39; edited 36 times in total
Back to top
View user's profile Send private message Send e-mail Visit poster's website
Mixail
молчун


Joined: 11 Nov 2010
Posts: 5

PostPosted: 07 Jul 2016 21:50    Post subject: Reply with quote

Kong En Ge, Выбрал, заработало!


Там стоял очень странный дефолт:
%USERPROFILE%\AppData\Local\CityInfo\OSMView\Class\

Особенно интересно он смотрится с учетом того, что OSMView своё добро хранит в Roaming, а не Local.

Может, стоит исправить на <рабочий каталог>\data ?

-----

Ещё хотелка: в окне со слоями первым пунктом поставить ISF, а то постоянно нужно переключаться.
Back to top
View user's profile Send private message
Kong En Ge
DevTeam


Joined: 05 Nov 2003
Posts: 6936
Location: Minsk

PostPosted: 07 Jul 2016 22:34    Post subject: Reply with quote

Quote:
Там стоял очень странный дефолт:

А пока вообще никакой внятной политики хранения данных нет, отсюда и необходимость все настраивать вручную поначалу.

Quote:
Ещё хотелка: в окне со слоями первым пунктом поставить ISF, а то постоянно нужно переключаться.

Так запоминает же последнее значение.

_________________
Боюсь, у меня нет никаких фобий...
Back to top
View user's profile Send private message Send e-mail Visit poster's website
Mixail
молчун


Joined: 11 Nov 2010
Posts: 5

PostPosted: 11 Jul 2016 12:49    Post subject: Reply with quote

Kong En Ge, Вопрос, а идентификаторы узлов у вас восьмибайтные? Если нет, то неплохо бы изменить, иначе вскоре появятся проблемы с конвертацией.

http://wiki.openstreetmap.org/wiki/64-bit_Identifiers
Back to top
View user's profile Send private message
Kong En Ge
DevTeam


Joined: 05 Nov 2003
Posts: 6936
Location: Minsk

PostPosted: 11 Jul 2016 13:47    Post subject: Reply with quote

Quote:
Вопрос, а идентификаторы узлов у вас восьмибайтные?

Вы про node/way/relation ID в OSM? Да, int64. Это 8 байт. А проблема с 4-байтовым int32.

_________________
Боюсь, у меня нет никаких фобий...
Back to top
View user's profile Send private message Send e-mail Visit poster's website
Kong En Ge
DevTeam


Joined: 05 Nov 2003
Posts: 6936
Location: Minsk

PostPosted: 17 Aug 2016 23:30    Post subject: Reply with quote

0.2.2.1
1) Бягучая канфігурацыя пакрывае класіфікацыяй больш за 98% са зместу зыходнага дампа.
2) На ~20% зменшаны аб'ём памяці пад дадзеныя загружанай мапы (дзе было 90М стала 70М). З гэтай нагоды старыя .oso файлы трэба сканвертаваць паўторна праз OSMbin2map, каб выкарыстоўваць у апошняй OSMView.

Тбілісі з намі:

_________________
Боюсь, у меня нет никаких фобий...


Last edited by Kong En Ge on 19 Jan 2017 12:42; edited 1 time in total
Back to top
View user's profile Send private message Send e-mail Visit poster's website
Kong En Ge
DevTeam


Joined: 05 Nov 2003
Posts: 6936
Location: Minsk

PostPosted: 19 Sep 2016 19:06    Post subject: Reply with quote

0.2.3.1
1. Выпраўлена пэўная колькасць праблем з імпартам вялікіх файлаў (у якасці выпрабавання паспяхова апрацаваны зыходны файл памерам у 9 гігабайт).
2. Даданая украінская лакалізацыя.

Вітаем у Кіеве:

_________________
Боюсь, у меня нет никаких фобий...


Last edited by Kong En Ge on 19 Jan 2017 12:43; edited 1 time in total
Back to top
View user's profile Send private message Send e-mail Visit poster's website
genom
писатель


Joined: 13 Aug 2005
Posts: 114
Location: Minsk

PostPosted: 04 Oct 2016 22:48    Post subject: Reply with quote

Пасля выканання гэтага усяго непатрэбства працесса, файл belarus-latest.osm ужо непатрэбны i яго можна удалiць? Для працы праглядальнiка неабходныя толькi act ды oso файлы?
Back to top
View user's profile Send private message
Kong En Ge
DevTeam


Joined: 05 Nov 2003
Posts: 6936
Location: Minsk

PostPosted: 04 Oct 2016 23:15    Post subject: Reply with quote

genom, Нават .oso непатрэбны, калі абмяжоўвацца толькі праглядам.
_________________
Боюсь, у меня нет никаких фобий...
Back to top
View user's profile Send private message Send e-mail Visit poster's website
Andrew
писатель


Joined: 12 Dec 2003
Posts: 137
Location: Minsk

PostPosted: 30 Oct 2016 13:08    Post subject: Reply with quote

Как насчет того чтоб раз в квартал выкладывать полностью собранный(сконвертированный) комплект?
Могу сам это делать - по крайней мере по РБ.
Back to top
View user's profile Send private message
Kong En Ge
DevTeam


Joined: 05 Nov 2003
Posts: 6936
Location: Minsk

PostPosted: 30 Oct 2016 14:26    Post subject: Reply with quote

Quote:
Как насчет того чтоб раз в квартал выкладывать полностью собранный(сконвертированный) комплект?

Комплект чего? Программа и так выкладывается не реже раза в два месяца.
А данные пусть каждый себе сгенерирует какие хочет: мне и хостинг не нагружать, и в холивары по поводу открытой лицензии не вступать :-)

_________________
Боюсь, у меня нет никаких фобий...
Back to top
View user's profile Send private message Send e-mail Visit poster's website
TarasBY
молчун


Joined: 30 Oct 2016
Posts: 1

PostPosted: 30 Oct 2016 14:49    Post subject: Поиск Reply with quote

А поиск (на карте) у сей реализации есть?
Back to top
View user's profile Send private message
Kong En Ge
DevTeam


Joined: 05 Nov 2003
Posts: 6936
Location: Minsk

PostPosted: 31 Oct 2016 10:51    Post subject: Reply with quote

Quote:
А поиск (на карте) у сей реализации есть?

Пока нет. Но будет.

_________________
Боюсь, у меня нет никаких фобий...
Back to top
View user's profile Send private message Send e-mail Visit poster's website
Kong En Ge
DevTeam


Joined: 05 Nov 2003
Posts: 6936
Location: Minsk

PostPosted: 31 Oct 2016 18:34    Post subject: Reply with quote

0.2.4.1
1) Даданая падтрымка .pbf-фармату зыходных дадзеных (у разы меншых і хутчэйшых у апрацоўцы). Імпарт з .osm таксама нікуды не падзеўся, калі каму патрэбны.
2) Выпраўлена пэўная колькасць хібаў "знутры"
3) Канфігурацыя імпарту належна разбірае пераважную большасць аб'ектаў. Пачынаем рух у бок паляпшэння генералізацыі і знешняга выгляду.

Ерэван у эфіры:

_________________
Боюсь, у меня нет никаких фобий...


Last edited by Kong En Ge on 19 Jan 2017 12:43; edited 1 time in total
Back to top
View user's profile Send private message Send e-mail Visit poster's website
Kong En Ge
DevTeam


Joined: 05 Nov 2003
Posts: 6936
Location: Minsk

PostPosted: 01 Nov 2016 10:41    Post subject: Re: CityInfo:OSMView Reply with quote

0.2.4.2
Невялікія выпраўленні пад знойдзеныя на Паўночнай Карэі асаблівасці дадзеных (пачынаць ад osm2bin). Дзякуем клану таварышаў Кімаў за належнае тэрафармаванне.

_________________
Боюсь, у меня нет никаких фобий...


Last edited by Kong En Ge on 19 Jan 2017 12:43; edited 1 time in total
Back to top
View user's profile Send private message Send e-mail Visit poster's website
Andrew
писатель


Joined: 12 Dec 2003
Posts: 137
Location: Minsk

PostPosted: 02 Nov 2016 11:47    Post subject: Reply with quote

Можно ли утилиты конвертации заставить в бОльшей степени использовать оперативную память с целью минимизации обращения к жесткому диску?
Не помешало бы иметь возможность задавать путь выходного файла(при наличии нескольких дисков в системе это ускорило бы процесс конвертации).
Back to top
View user's profile Send private message
Kong En Ge
DevTeam


Joined: 05 Nov 2003
Posts: 6936
Location: Minsk

PostPosted: 02 Nov 2016 14:07    Post subject: Reply with quote

Andrew, osm2bin -- линейный по доступу к исходному файлу процесс, сокращать дисковые операции негде.
osmbin2map изначально проецирует исходный файл в память, и уже операционка решает, как ей лучше предоставить доступ -- чтением или хранением в памяти (подозреваю, что в силу интенсивного доступа к разным частям файла, содержимое также оказывается в памяти, если объем не жмет).

Пути выходного файла есть: второй параметр в osm2bin и osmbin2map. Но есть подозрение, что не окажет существенного влияния: основная запись выходных данных начинается уже после чтения входных. Есть еще промежуточные файлы в temp-каталоге, но как мне представляется, основное потребление времени -- это не файловые операции. Много тянул парсинг оригинального xml, но с переходом на pbf ситуация улучшилась раз в 5.

_________________
Боюсь, у меня нет никаких фобий...
Back to top
View user's profile Send private message Send e-mail Visit poster's website
Andrew
писатель


Joined: 12 Dec 2003
Posts: 137
Location: Minsk

PostPosted: 02 Nov 2016 14:40    Post subject: Reply with quote

При конвертации загрузка процессора не превышала 15%.
Времени конвертации при переходе на pbf: 1 этап - 13 мин., 2 этап - 14 -мин.
Back to top
View user's profile Send private message
Kong En Ge
DevTeam


Joined: 05 Nov 2003
Posts: 6936
Location: Minsk

PostPosted: 02 Nov 2016 15:00    Post subject: Reply with quote

Quote:
загрузка процессора не превышала 15%.

Совокупно или на ядро? Там параллелить не очень получается на ядра.

Quote:
при переходе на pbf: 1 этап - 13 мин

А был, поди, под час? :-)

_________________
Боюсь, у меня нет никаких фобий...
Back to top
View user's profile Send private message Send e-mail Visit poster's website
Andrew
писатель


Joined: 12 Dec 2003
Posts: 137
Location: Minsk

PostPosted: 02 Nov 2016 15:04    Post subject: Reply with quote

Загрузка процессора - совокупно.
С предыдущим форматом было минут ~40.
Back to top
View user's profile Send private message
Kong En Ge
DevTeam


Joined: 05 Nov 2003
Posts: 6936
Location: Minsk

PostPosted: 02 Nov 2016 15:16    Post subject: Reply with quote

Quote:
Загрузка процессора - совокупно.

можно попробовать еще вдвое срезать время на osm2bin с учетом независимо-блочной структуры pbf; хотя на уже достигнутых временах задача больше академического интереса

_________________
Боюсь, у меня нет никаких фобий...
Back to top
View user's profile Send private message Send e-mail Visit poster's website
Andrew
писатель


Joined: 12 Dec 2003
Posts: 137
Location: Minsk

PostPosted: 02 Nov 2016 15:28    Post subject: Reply with quote

Исходя из мониторинга ресурсов, во время конвертации самый активный обмен данными был в папке TEMP. Попробую поиграться с размещением файлов конвертации на виртуальном диске(в оперативной памяти).
Размер используемой оперативной памяти на протяжении всего этапа конвертации практически не менялся(в запасе не менее 2 гиг оперативы)
Back to top
View user's profile Send private message
Kong En Ge
DevTeam


Joined: 05 Nov 2003
Posts: 6936
Location: Minsk

PostPosted: 02 Nov 2016 15:32    Post subject: Reply with quote

Quote:
в запасе не менее 2 гиг оперативы

Когда у меня закончилась память на лобовой конвертации Украины, пришлось в качестве основного решения использовать файлы :-)
Время простых решений прошло, теперь нужно тоньше подбирать способы.

_________________
Боюсь, у меня нет никаких фобий...
Back to top
View user's profile Send private message Send e-mail Visit poster's website
Andrew
писатель


Joined: 12 Dec 2003
Posts: 137
Location: Minsk

PostPosted: 02 Nov 2016 15:44    Post subject: Reply with quote


На виртуальном диске первый этап завершился через 6 минут.
И все равно самым медленным участком является папка temp а она на физическом диске у меня.
Если получится в ближайшее время нарастить оперативку то и temp вынесу на виртуальный диск.
Останется только чисто алгоритм конвертации.
Back to top
View user's profile Send private message
Kong En Ge
DevTeam


Joined: 05 Nov 2003
Posts: 6936
Location: Minsk

PostPosted: 02 Nov 2016 20:20    Post subject: Reply with quote

Quote:
На виртуальном диске первый этап завершился через 6 минут.

Я на скорую руку добавил более умного кэширования по записи (0.2.4.3, можно скачать). Примерно -39% по времени на osm2bin (35с->20c) и -22% (31c->24c) на osmbin2map.
Можно еще попробовать многопоточность, но там не очевидно, что более значимо будет: параллельность вычислений или синхронизация.

_________________
Боюсь, у меня нет никаких фобий...
Back to top
View user's profile Send private message Send e-mail Visit poster's website
Kong En Ge
DevTeam


Joined: 05 Nov 2003
Posts: 6936
Location: Minsk

PostPosted: 02 Nov 2016 20:22    Post subject: Re: CityInfo:OSMView Reply with quote

0.2.4.3
Эксперыментальныя змены на карысць хуткасці апрацоўкі. Дзякую Andrew за навядзенне на думку.

_________________
Боюсь, у меня нет никаких фобий...


Last edited by Kong En Ge on 19 Jan 2017 12:44; edited 1 time in total
Back to top
View user's profile Send private message Send e-mail Visit poster's website
Display posts from previous:   
Post new topic   Reply to topic    forum.esmasoft.com Forum Index -> CityInfo® All times are UTC + 3 Hours
Goto page Previous  1, 2, 3, 4, 5, 6, 7, 8  Next
Page 2 of 8
 
Jump to:  
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum
You cannot attach files in this forum
You can download files in this forum


Powered by phpBB © 2001, 2005 phpBB Group

0.382 sec