forum.esmasoft.com
Свежыя допісы
 
 FAQFAQ  ПошукПошук   НаведвальнікіНаведвальнікі   СуполкіСуполкі   РэгістрацыяРэгістрацыя 
 НастаўленніНастаўленні   Увайсці і праверыць асабістыя паведамленніУвайсці і праверыць асабістыя паведамленні   УвайсціУвайсці 

CityInfo:OSMView
общественный транспорт городов Беларуси
На старонку Папяр.  1, 2, 3, 4, 5  Наст.
 
Распачаць новую тэму   Адказаць у тэму    Спіс форумаў forum.esmasoft.com -> CityInfo®
Папярэдняя тэма :: Наступная тэма  
Аўтар Паведамленне
Kong En Ge
DevTeam


Далучыўся: 05.11.2003
Допісы: 6658
Адкуль: Minsk

ДопісЗмешчанае: 01 Крс 2016 00:47    Загаловак допісу: CityInfo:OSMView Адказаць з цытатай

Крыху новы накірунак звыклых рэчаў на першае красавіка.
Без абяцанняў і гарантый. Адвядзіце, калі ласка, хатніх гаспадыняў ад клавіятуры.

Цытата:
Бягучая версія 0.2.7.3 ад 27.03.2017


1) Спампаваць праграму і распакаваць (няхай гэта будзе папка osmview).
2) Спампаваць тут ці тут пажаданыя дадзеныя (у фармаце osm.bz2 ці osm.pbf). Фармат osm.pbf патрабуе меней вольнага месца і заўважна хутчэйшы ў апрацоўцы.
2.1) Распакаваць змест архіва osm.bz2 (няхай гэта будзе osmview\data\map.osm). Файл osm.pbf гатовы да ўжывання без распакоўкі.
3) Сканвертаваць map.osm ці map.osm.pbf у прыдатную да наступнай апрацоўкі форму з дапамогай праграмы osm2bin.exe:
Код:
osmview\utils\osm2bin.exe osmview\data\map.osm

альбо
Код:
osmview\utils\osm2bin.exe osmview\data\map.osm.pbf

Пасля даволі працяглай канвертацыі маем на выхадзе файл map.oso (там жа, дзе і быў map.osm/map.osm.pbf)
4) Сканвертаваць map.oso у фармат праглядаемай праз osmview мапы:
Код:
osmview\utils\osmbin2map.exe osmview\data\map.oso -c:osmview\config\classmap.xml

Пасля значна меней працяглай канвертацыі маем на выхадзе файл map.act
5) Запусціць osmview\osmview.exe.
5.1) У меню "Уціліты\Наладка" ("Utilities\Setup") ставім спасылку на папку класіфікатара osmview\data
5.2) У меню "Файл\Пласты" (File\Layers) дадаем map.act

Выглядаць павінна недзе так:


Расфарбоўка і астатнія паляпшэнні маюць чакацца крыху пазней праз пашыраныя версіі канфігурацыйных файлаў osmview\config\ClassMap.xml і osmview\data\default.clf.

На жаль, зручнай працы "з каробкі" абяцаць пакуль немагчыма з прычыны значнай колькасці дзеянняў, якія карыстальнік мае зрабіць самастойна.

Папярэднія версіі:
2017-02-24. 0.2.7.2
2017-01-30. 0.2.6.2
2016-12-26. 0.2.5.1
2016-11-02. 0.2.4.3
2016-11-01. 0.2.4.2
2016-10-31. 0.2.4.1
2016-09-19. 0.2.3.1
2016-08-17. 0.2.2.1
2016-06-19. 0.2.1.1
2016-06-01. 0.0.1.3
2016-04-27. 0.0.1.2
2016-04-01. 0.0.1.1

_________________
Боюсь, у меня нет никаких фобий...


Апошні раз рэдагаванае: Kong En Ge (27 Сак 2017 17:22), усяго рэдагавалася 18 раз(оў)
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне Адаслаць e-mail Наведаць сайт аўтара
Mixail
молчун


Далучыўся: 11.11.2010
Допісы: 5

ДопісЗмешчанае: 07 Ліп 2016 21:50    Загаловак допісу: Адказаць з цытатай

Kong En Ge, Выбрал, заработало!


Там стоял очень странный дефолт:
%USERPROFILE%\AppData\Local\CityInfo\OSMView\Class\

Особенно интересно он смотрится с учетом того, что OSMView своё добро хранит в Roaming, а не Local.

Может, стоит исправить на <рабочий каталог>\data ?

-----

Ещё хотелка: в окне со слоями первым пунктом поставить ISF, а то постоянно нужно переключаться.
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне
Kong En Ge
DevTeam


Далучыўся: 05.11.2003
Допісы: 6658
Адкуль: Minsk

ДопісЗмешчанае: 07 Ліп 2016 22:34    Загаловак допісу: Адказаць з цытатай

Цытата:
Там стоял очень странный дефолт:

А пока вообще никакой внятной политики хранения данных нет, отсюда и необходимость все настраивать вручную поначалу.

Цытата:
Ещё хотелка: в окне со слоями первым пунктом поставить ISF, а то постоянно нужно переключаться.

Так запоминает же последнее значение.

_________________
Боюсь, у меня нет никаких фобий...
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне Адаслаць e-mail Наведаць сайт аўтара
Mixail
молчун


Далучыўся: 11.11.2010
Допісы: 5

ДопісЗмешчанае: 11 Ліп 2016 12:49    Загаловак допісу: Адказаць з цытатай

Kong En Ge, Вопрос, а идентификаторы узлов у вас восьмибайтные? Если нет, то неплохо бы изменить, иначе вскоре появятся проблемы с конвертацией.

http://wiki.openstreetmap.org/wiki/64-bit_Identifiers
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне
Kong En Ge
DevTeam


Далучыўся: 05.11.2003
Допісы: 6658
Адкуль: Minsk

ДопісЗмешчанае: 11 Ліп 2016 13:47    Загаловак допісу: Адказаць з цытатай

Цытата:
Вопрос, а идентификаторы узлов у вас восьмибайтные?

Вы про node/way/relation ID в OSM? Да, int64. Это 8 байт. А проблема с 4-байтовым int32.

_________________
Боюсь, у меня нет никаких фобий...
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне Адаслаць e-mail Наведаць сайт аўтара
Kong En Ge
DevTeam


Далучыўся: 05.11.2003
Допісы: 6658
Адкуль: Minsk

ДопісЗмешчанае: 17 Жнв 2016 23:30    Загаловак допісу: Адказаць з цытатай

0.2.2.1
1) Бягучая канфігурацыя пакрывае класіфікацыяй больш за 98% са зместу зыходнага дампа.
2) На ~20% зменшаны аб'ём памяці пад дадзеныя загружанай мапы (дзе было 90М стала 70М). З гэтай нагоды старыя .oso файлы трэба сканвертаваць паўторна праз OSMbin2map, каб выкарыстоўваць у апошняй OSMView.

Тбілісі з намі:

_________________
Боюсь, у меня нет никаких фобий...


Апошні раз рэдагаванае: Kong En Ge (19 Стд 2017 12:42), усяго рэдагавалася 1 раз
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне Адаслаць e-mail Наведаць сайт аўтара
Kong En Ge
DevTeam


Далучыўся: 05.11.2003
Допісы: 6658
Адкуль: Minsk

ДопісЗмешчанае: 19 Вер 2016 19:06    Загаловак допісу: Адказаць з цытатай

0.2.3.1
1. Выпраўлена пэўная колькасць праблем з імпартам вялікіх файлаў (у якасці выпрабавання паспяхова апрацаваны зыходны файл памерам у 9 гігабайт).
2. Даданая украінская лакалізацыя.

Вітаем у Кіеве:

_________________
Боюсь, у меня нет никаких фобий...


Апошні раз рэдагаванае: Kong En Ge (19 Стд 2017 12:43), усяго рэдагавалася 1 раз
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне Адаслаць e-mail Наведаць сайт аўтара
genom
писатель


Далучыўся: 13.08.2005
Допісы: 109
Адкуль: Minsk

ДопісЗмешчанае: 04 Кас 2016 22:48    Загаловак допісу: Адказаць з цытатай

Пасля выканання гэтага усяго непатрэбства працесса, файл belarus-latest.osm ужо непатрэбны i яго можна удалiць? Для працы праглядальнiка неабходныя толькi act ды oso файлы?
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне
Kong En Ge
DevTeam


Далучыўся: 05.11.2003
Допісы: 6658
Адкуль: Minsk

ДопісЗмешчанае: 04 Кас 2016 23:15    Загаловак допісу: Адказаць з цытатай

genom, Нават .oso непатрэбны, калі абмяжоўвацца толькі праглядам.
_________________
Боюсь, у меня нет никаких фобий...
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне Адаслаць e-mail Наведаць сайт аўтара
Andrew
писатель


Далучыўся: 12.12.2003
Допісы: 104
Адкуль: Minsk

ДопісЗмешчанае: 30 Кас 2016 13:08    Загаловак допісу: Адказаць з цытатай

Как насчет того чтоб раз в квартал выкладывать полностью собранный(сконвертированный) комплект?
Могу сам это делать - по крайней мере по РБ.
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне Адаслаць e-mail Наведаць сайт аўтара
Kong En Ge
DevTeam


Далучыўся: 05.11.2003
Допісы: 6658
Адкуль: Minsk

ДопісЗмешчанае: 30 Кас 2016 14:26    Загаловак допісу: Адказаць з цытатай

Цытата:
Как насчет того чтоб раз в квартал выкладывать полностью собранный(сконвертированный) комплект?

Комплект чего? Программа и так выкладывается не реже раза в два месяца.
А данные пусть каждый себе сгенерирует какие хочет: мне и хостинг не нагружать, и в холивары по поводу открытой лицензии не вступать :-)

_________________
Боюсь, у меня нет никаких фобий...
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне Адаслаць e-mail Наведаць сайт аўтара
TarasBY
молчун


Далучыўся: 30.10.2016
Допісы: 1

ДопісЗмешчанае: 30 Кас 2016 14:49    Загаловак допісу: Поиск Адказаць з цытатай

А поиск (на карте) у сей реализации есть?
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне
Kong En Ge
DevTeam


Далучыўся: 05.11.2003
Допісы: 6658
Адкуль: Minsk

ДопісЗмешчанае: 31 Кас 2016 10:51    Загаловак допісу: Адказаць з цытатай

Цытата:
А поиск (на карте) у сей реализации есть?

Пока нет. Но будет.

_________________
Боюсь, у меня нет никаких фобий...
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне Адаслаць e-mail Наведаць сайт аўтара
Kong En Ge
DevTeam


Далучыўся: 05.11.2003
Допісы: 6658
Адкуль: Minsk

ДопісЗмешчанае: 31 Кас 2016 18:34    Загаловак допісу: Адказаць з цытатай

0.2.4.1
1) Даданая падтрымка .pbf-фармату зыходных дадзеных (у разы меншых і хутчэйшых у апрацоўцы). Імпарт з .osm таксама нікуды не падзеўся, калі каму патрэбны.
2) Выпраўлена пэўная колькасць хібаў "знутры"
3) Канфігурацыя імпарту належна разбірае пераважную большасць аб'ектаў. Пачынаем рух у бок паляпшэння генералізацыі і знешняга выгляду.

Ерэван у эфіры:

_________________
Боюсь, у меня нет никаких фобий...


Апошні раз рэдагаванае: Kong En Ge (19 Стд 2017 12:43), усяго рэдагавалася 1 раз
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне Адаслаць e-mail Наведаць сайт аўтара
Kong En Ge
DevTeam


Далучыўся: 05.11.2003
Допісы: 6658
Адкуль: Minsk

ДопісЗмешчанае: 01 Ліс 2016 10:41    Загаловак допісу: Re: CityInfo:OSMView Адказаць з цытатай

0.2.4.2
Невялікія выпраўленні пад знойдзеныя на Паўночнай Карэі асаблівасці дадзеных (пачынаць ад osm2bin). Дзякуем клану таварышаў Кімаў за належнае тэрафармаванне.

_________________
Боюсь, у меня нет никаких фобий...


Апошні раз рэдагаванае: Kong En Ge (19 Стд 2017 12:43), усяго рэдагавалася 1 раз
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне Адаслаць e-mail Наведаць сайт аўтара
Andrew
писатель


Далучыўся: 12.12.2003
Допісы: 104
Адкуль: Minsk

ДопісЗмешчанае: 02 Ліс 2016 11:47    Загаловак допісу: Адказаць з цытатай

Можно ли утилиты конвертации заставить в бОльшей степени использовать оперативную память с целью минимизации обращения к жесткому диску?
Не помешало бы иметь возможность задавать путь выходного файла(при наличии нескольких дисков в системе это ускорило бы процесс конвертации).
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне Адаслаць e-mail Наведаць сайт аўтара
Kong En Ge
DevTeam


Далучыўся: 05.11.2003
Допісы: 6658
Адкуль: Minsk

ДопісЗмешчанае: 02 Ліс 2016 14:07    Загаловак допісу: Адказаць з цытатай

Andrew, osm2bin -- линейный по доступу к исходному файлу процесс, сокращать дисковые операции негде.
osmbin2map изначально проецирует исходный файл в память, и уже операционка решает, как ей лучше предоставить доступ -- чтением или хранением в памяти (подозреваю, что в силу интенсивного доступа к разным частям файла, содержимое также оказывается в памяти, если объем не жмет).

Пути выходного файла есть: второй параметр в osm2bin и osmbin2map. Но есть подозрение, что не окажет существенного влияния: основная запись выходных данных начинается уже после чтения входных. Есть еще промежуточные файлы в temp-каталоге, но как мне представляется, основное потребление времени -- это не файловые операции. Много тянул парсинг оригинального xml, но с переходом на pbf ситуация улучшилась раз в 5.

_________________
Боюсь, у меня нет никаких фобий...
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне Адаслаць e-mail Наведаць сайт аўтара
Andrew
писатель


Далучыўся: 12.12.2003
Допісы: 104
Адкуль: Minsk

ДопісЗмешчанае: 02 Ліс 2016 14:40    Загаловак допісу: Адказаць з цытатай

При конвертации загрузка процессора не превышала 15%.
Времени конвертации при переходе на pbf: 1 этап - 13 мин., 2 этап - 14 -мин.
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне Адаслаць e-mail Наведаць сайт аўтара
Kong En Ge
DevTeam


Далучыўся: 05.11.2003
Допісы: 6658
Адкуль: Minsk

ДопісЗмешчанае: 02 Ліс 2016 15:00    Загаловак допісу: Адказаць з цытатай

Цытата:
загрузка процессора не превышала 15%.

Совокупно или на ядро? Там параллелить не очень получается на ядра.

Цытата:
при переходе на pbf: 1 этап - 13 мин

А был, поди, под час? :-)

_________________
Боюсь, у меня нет никаких фобий...
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне Адаслаць e-mail Наведаць сайт аўтара
Andrew
писатель


Далучыўся: 12.12.2003
Допісы: 104
Адкуль: Minsk

ДопісЗмешчанае: 02 Ліс 2016 15:04    Загаловак допісу: Адказаць з цытатай

Загрузка процессора - совокупно.
С предыдущим форматом было минут ~40.
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне Адаслаць e-mail Наведаць сайт аўтара
Kong En Ge
DevTeam


Далучыўся: 05.11.2003
Допісы: 6658
Адкуль: Minsk

ДопісЗмешчанае: 02 Ліс 2016 15:16    Загаловак допісу: Адказаць з цытатай

Цытата:
Загрузка процессора - совокупно.

можно попробовать еще вдвое срезать время на osm2bin с учетом независимо-блочной структуры pbf; хотя на уже достигнутых временах задача больше академического интереса

_________________
Боюсь, у меня нет никаких фобий...
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне Адаслаць e-mail Наведаць сайт аўтара
Andrew
писатель


Далучыўся: 12.12.2003
Допісы: 104
Адкуль: Minsk

ДопісЗмешчанае: 02 Ліс 2016 15:28    Загаловак допісу: Адказаць з цытатай

Исходя из мониторинга ресурсов, во время конвертации самый активный обмен данными был в папке TEMP. Попробую поиграться с размещением файлов конвертации на виртуальном диске(в оперативной памяти).
Размер используемой оперативной памяти на протяжении всего этапа конвертации практически не менялся(в запасе не менее 2 гиг оперативы)
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне Адаслаць e-mail Наведаць сайт аўтара
Kong En Ge
DevTeam


Далучыўся: 05.11.2003
Допісы: 6658
Адкуль: Minsk

ДопісЗмешчанае: 02 Ліс 2016 15:32    Загаловак допісу: Адказаць з цытатай

Цытата:
в запасе не менее 2 гиг оперативы

Когда у меня закончилась память на лобовой конвертации Украины, пришлось в качестве основного решения использовать файлы :-)
Время простых решений прошло, теперь нужно тоньше подбирать способы.

_________________
Боюсь, у меня нет никаких фобий...
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне Адаслаць e-mail Наведаць сайт аўтара
Andrew
писатель


Далучыўся: 12.12.2003
Допісы: 104
Адкуль: Minsk

ДопісЗмешчанае: 02 Ліс 2016 15:44    Загаловак допісу: Адказаць з цытатай


На виртуальном диске первый этап завершился через 6 минут.
И все равно самым медленным участком является папка temp а она на физическом диске у меня.
Если получится в ближайшее время нарастить оперативку то и temp вынесу на виртуальный диск.
Останется только чисто алгоритм конвертации.
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне Адаслаць e-mail Наведаць сайт аўтара
Kong En Ge
DevTeam


Далучыўся: 05.11.2003
Допісы: 6658
Адкуль: Minsk

ДопісЗмешчанае: 02 Ліс 2016 20:20    Загаловак допісу: Адказаць з цытатай

Цытата:
На виртуальном диске первый этап завершился через 6 минут.

Я на скорую руку добавил более умного кэширования по записи (0.2.4.3, можно скачать). Примерно -39% по времени на osm2bin (35с->20c) и -22% (31c->24c) на osmbin2map.
Можно еще попробовать многопоточность, но там не очевидно, что более значимо будет: параллельность вычислений или синхронизация.

_________________
Боюсь, у меня нет никаких фобий...
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне Адаслаць e-mail Наведаць сайт аўтара
Kong En Ge
DevTeam


Далучыўся: 05.11.2003
Допісы: 6658
Адкуль: Minsk

ДопісЗмешчанае: 02 Ліс 2016 20:22    Загаловак допісу: Re: CityInfo:OSMView Адказаць з цытатай

0.2.4.3
Эксперыментальныя змены на карысць хуткасці апрацоўкі. Дзякую Andrew за навядзенне на думку.

_________________
Боюсь, у меня нет никаких фобий...


Апошні раз рэдагаванае: Kong En Ge (19 Стд 2017 12:44), усяго рэдагавалася 1 раз
Вярнуцца да пачатку
Праглядзець звесткі Адаслаць асабістае паведамленне Адаслаць e-mail Наведаць сайт аўтара
Паказаць допісы:   
Распачаць новую тэму   Адказаць у тэму    Спіс форумаў forum.esmasoft.com -> CityInfo® Гадзінны пояс: UTC + 3
На старонку Папяр.  1, 2, 3, 4, 5  Наст.
Старонка 2 з 5
 
Перайсці:  
Вы не можаце распачынаць тэмы
Вы не можаце адказваць на допісы
Вы не можаце рэдагаваць свае допісы
Вы не можаце выдаляць свае допісы
Вы не можаце галасаваць у апытаннях
Вы не можаце прымацоўваць файлы
Вы можаце cпампоўваць файлы


Powered by phpBB © 2001, 2005 phpBB Group

0.696 sec