forum.esmasoft.com
Свежие сообщения
 
 FAQFAQ  ПоискПоиск   ПользователиПользователи   ГруппыГруппы   РегистрацияРегистрация 
 ПрофильПрофиль   Войти и проверить личные сообщенияВойти и проверить личные сообщения   ВходВход 

CityInfo:OSMView

На страницу Пред.  1, 2, 3, 4  След.
 
Начать новую тему   Ответить на тему    Список форумов forum.esmasoft.com -> CityInfo®
Предыдущая тема :: Следующая тема  
Автор Сообщение
Kong En Ge
DevTeam


Зарегистрирован: 05.11.2003
Сообщения: 6638
Откуда: Minsk

СообщениеДобавлено: 01 Апр 2016 00:47    Заголовок сообщения: CityInfo:OSMView Ответить с цитатой

Крыху новы накірунак звыклых рэчаў на першае красавіка.
Без абяцанняў і гарантый. Адвядзіце, калі ласка, хатніх гаспадыняў ад клавіятуры.

Цитата:
Бягучая версія 0.2.7.3 ад 27.03.2017


1) Спампаваць праграму і распакаваць (няхай гэта будзе папка osmview).
2) Спампаваць тут ці тут пажаданыя дадзеныя (у фармаце osm.bz2 ці osm.pbf). Фармат osm.pbf патрабуе меней вольнага месца і заўважна хутчэйшы ў апрацоўцы.
2.1) Распакаваць змест архіва osm.bz2 (няхай гэта будзе osmview\data\map.osm). Файл osm.pbf гатовы да ўжывання без распакоўкі.
3) Сканвертаваць map.osm ці map.osm.pbf у прыдатную да наступнай апрацоўкі форму з дапамогай праграмы osm2bin.exe:
Код:
osmview\utils\osm2bin.exe osmview\data\map.osm

альбо
Код:
osmview\utils\osm2bin.exe osmview\data\map.osm.pbf

Пасля даволі працяглай канвертацыі маем на выхадзе файл map.oso (там жа, дзе і быў map.osm/map.osm.pbf)
4) Сканвертаваць map.oso у фармат праглядаемай праз osmview мапы:
Код:
osmview\utils\osmbin2map.exe osmview\data\map.oso -c:osmview\config\classmap.xml

Пасля значна меней працяглай канвертацыі маем на выхадзе файл map.act
5) Запусціць osmview\osmview.exe.
5.1) У меню "Уціліты\Наладка" ("Utilities\Setup") ставім спасылку на папку класіфікатара osmview\data
5.2) У меню "Файл\Пласты" (File\Layers) дадаем map.act

Выглядаць павінна недзе так:


Расфарбоўка і астатнія паляпшэнні маюць чакацца крыху пазней праз пашыраныя версіі канфігурацыйных файлаў osmview\config\ClassMap.xml і osmview\data\default.clf.

На жаль, зручнай працы "з каробкі" абяцаць пакуль немагчыма з прычыны значнай колькасці дзеянняў, якія карыстальнік мае зрабіць самастойна.

Папярэднія версіі:
2017-02-24. 0.2.7.2
2017-01-30. 0.2.6.2
2016-12-26. 0.2.5.1
2016-11-02. 0.2.4.3
2016-11-01. 0.2.4.2
2016-10-31. 0.2.4.1
2016-09-19. 0.2.3.1
2016-08-17. 0.2.2.1
2016-06-19. 0.2.1.1
2016-06-01. 0.0.1.3
2016-04-27. 0.0.1.2
2016-04-01. 0.0.1.1

_________________
Боюсь, у меня нет никаких фобий...


Последний раз редактировалось: Kong En Ge (27 Мар 2017 17:22), всего редактировалось 18 раз(а)
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Mixail
молчун


Зарегистрирован: 11.11.2010
Сообщения: 5

СообщениеДобавлено: 07 Июл 2016 21:50    Заголовок сообщения: Ответить с цитатой

Kong En Ge, Выбрал, заработало!


Там стоял очень странный дефолт:
%USERPROFILE%\AppData\Local\CityInfo\OSMView\Class\

Особенно интересно он смотрится с учетом того, что OSMView своё добро хранит в Roaming, а не Local.

Может, стоит исправить на <рабочий каталог>\data ?

-----

Ещё хотелка: в окне со слоями первым пунктом поставить ISF, а то постоянно нужно переключаться.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Kong En Ge
DevTeam


Зарегистрирован: 05.11.2003
Сообщения: 6638
Откуда: Minsk

СообщениеДобавлено: 07 Июл 2016 22:34    Заголовок сообщения: Ответить с цитатой

Цитата:
Там стоял очень странный дефолт:

А пока вообще никакой внятной политики хранения данных нет, отсюда и необходимость все настраивать вручную поначалу.

Цитата:
Ещё хотелка: в окне со слоями первым пунктом поставить ISF, а то постоянно нужно переключаться.

Так запоминает же последнее значение.

_________________
Боюсь, у меня нет никаких фобий...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Mixail
молчун


Зарегистрирован: 11.11.2010
Сообщения: 5

СообщениеДобавлено: 11 Июл 2016 12:49    Заголовок сообщения: Ответить с цитатой

Kong En Ge, Вопрос, а идентификаторы узлов у вас восьмибайтные? Если нет, то неплохо бы изменить, иначе вскоре появятся проблемы с конвертацией.

http://wiki.openstreetmap.org/wiki/64-bit_Identifiers
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Kong En Ge
DevTeam


Зарегистрирован: 05.11.2003
Сообщения: 6638
Откуда: Minsk

СообщениеДобавлено: 11 Июл 2016 13:47    Заголовок сообщения: Ответить с цитатой

Цитата:
Вопрос, а идентификаторы узлов у вас восьмибайтные?

Вы про node/way/relation ID в OSM? Да, int64. Это 8 байт. А проблема с 4-байтовым int32.

_________________
Боюсь, у меня нет никаких фобий...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Kong En Ge
DevTeam


Зарегистрирован: 05.11.2003
Сообщения: 6638
Откуда: Minsk

СообщениеДобавлено: 17 Авг 2016 23:30    Заголовок сообщения: Ответить с цитатой

0.2.2.1
1) Бягучая канфігурацыя пакрывае класіфікацыяй больш за 98% са зместу зыходнага дампа.
2) На ~20% зменшаны аб'ём памяці пад дадзеныя загружанай мапы (дзе было 90М стала 70М). З гэтай нагоды старыя .oso файлы трэба сканвертаваць паўторна праз OSMbin2map, каб выкарыстоўваць у апошняй OSMView.

Тбілісі з намі:

_________________
Боюсь, у меня нет никаких фобий...


Последний раз редактировалось: Kong En Ge (19 Янв 2017 12:42), всего редактировалось 1 раз
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Kong En Ge
DevTeam


Зарегистрирован: 05.11.2003
Сообщения: 6638
Откуда: Minsk

СообщениеДобавлено: 19 Сен 2016 19:06    Заголовок сообщения: Ответить с цитатой

0.2.3.1
1. Выпраўлена пэўная колькасць праблем з імпартам вялікіх файлаў (у якасці выпрабавання паспяхова апрацаваны зыходны файл памерам у 9 гігабайт).
2. Даданая украінская лакалізацыя.

Вітаем у Кіеве:

_________________
Боюсь, у меня нет никаких фобий...


Последний раз редактировалось: Kong En Ge (19 Янв 2017 12:43), всего редактировалось 1 раз
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
genom
писатель


Зарегистрирован: 13.08.2005
Сообщения: 109
Откуда: Minsk

СообщениеДобавлено: 04 Окт 2016 22:48    Заголовок сообщения: Ответить с цитатой

Пасля выканання гэтага усяго непатрэбства працесса, файл belarus-latest.osm ужо непатрэбны i яго можна удалiць? Для працы праглядальнiка неабходныя толькi act ды oso файлы?
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Kong En Ge
DevTeam


Зарегистрирован: 05.11.2003
Сообщения: 6638
Откуда: Minsk

СообщениеДобавлено: 04 Окт 2016 23:15    Заголовок сообщения: Ответить с цитатой

genom, Нават .oso непатрэбны, калі абмяжоўвацца толькі праглядам.
_________________
Боюсь, у меня нет никаких фобий...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Andrew
писатель


Зарегистрирован: 12.12.2003
Сообщения: 103
Откуда: Minsk

СообщениеДобавлено: 30 Окт 2016 13:08    Заголовок сообщения: Ответить с цитатой

Как насчет того чтоб раз в квартал выкладывать полностью собранный(сконвертированный) комплект?
Могу сам это делать - по крайней мере по РБ.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Kong En Ge
DevTeam


Зарегистрирован: 05.11.2003
Сообщения: 6638
Откуда: Minsk

СообщениеДобавлено: 30 Окт 2016 14:26    Заголовок сообщения: Ответить с цитатой

Цитата:
Как насчет того чтоб раз в квартал выкладывать полностью собранный(сконвертированный) комплект?

Комплект чего? Программа и так выкладывается не реже раза в два месяца.
А данные пусть каждый себе сгенерирует какие хочет: мне и хостинг не нагружать, и в холивары по поводу открытой лицензии не вступать :-)

_________________
Боюсь, у меня нет никаких фобий...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
TarasBY
молчун


Зарегистрирован: 30.10.2016
Сообщения: 1

СообщениеДобавлено: 30 Окт 2016 14:49    Заголовок сообщения: Поиск Ответить с цитатой

А поиск (на карте) у сей реализации есть?
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Kong En Ge
DevTeam


Зарегистрирован: 05.11.2003
Сообщения: 6638
Откуда: Minsk

СообщениеДобавлено: 31 Окт 2016 10:51    Заголовок сообщения: Ответить с цитатой

Цитата:
А поиск (на карте) у сей реализации есть?

Пока нет. Но будет.

_________________
Боюсь, у меня нет никаких фобий...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Kong En Ge
DevTeam


Зарегистрирован: 05.11.2003
Сообщения: 6638
Откуда: Minsk

СообщениеДобавлено: 31 Окт 2016 18:34    Заголовок сообщения: Ответить с цитатой

0.2.4.1
1) Даданая падтрымка .pbf-фармату зыходных дадзеных (у разы меншых і хутчэйшых у апрацоўцы). Імпарт з .osm таксама нікуды не падзеўся, калі каму патрэбны.
2) Выпраўлена пэўная колькасць хібаў "знутры"
3) Канфігурацыя імпарту належна разбірае пераважную большасць аб'ектаў. Пачынаем рух у бок паляпшэння генералізацыі і знешняга выгляду.

Ерэван у эфіры:

_________________
Боюсь, у меня нет никаких фобий...


Последний раз редактировалось: Kong En Ge (19 Янв 2017 12:43), всего редактировалось 1 раз
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Kong En Ge
DevTeam


Зарегистрирован: 05.11.2003
Сообщения: 6638
Откуда: Minsk

СообщениеДобавлено: 01 Ноя 2016 10:41    Заголовок сообщения: Re: CityInfo:OSMView Ответить с цитатой

0.2.4.2
Невялікія выпраўленні пад знойдзеныя на Паўночнай Карэі асаблівасці дадзеных (пачынаць ад osm2bin). Дзякуем клану таварышаў Кімаў за належнае тэрафармаванне.

_________________
Боюсь, у меня нет никаких фобий...


Последний раз редактировалось: Kong En Ge (19 Янв 2017 12:43), всего редактировалось 1 раз
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Andrew
писатель


Зарегистрирован: 12.12.2003
Сообщения: 103
Откуда: Minsk

СообщениеДобавлено: 02 Ноя 2016 11:47    Заголовок сообщения: Ответить с цитатой

Можно ли утилиты конвертации заставить в бОльшей степени использовать оперативную память с целью минимизации обращения к жесткому диску?
Не помешало бы иметь возможность задавать путь выходного файла(при наличии нескольких дисков в системе это ускорило бы процесс конвертации).
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Kong En Ge
DevTeam


Зарегистрирован: 05.11.2003
Сообщения: 6638
Откуда: Minsk

СообщениеДобавлено: 02 Ноя 2016 14:07    Заголовок сообщения: Ответить с цитатой

Andrew, osm2bin -- линейный по доступу к исходному файлу процесс, сокращать дисковые операции негде.
osmbin2map изначально проецирует исходный файл в память, и уже операционка решает, как ей лучше предоставить доступ -- чтением или хранением в памяти (подозреваю, что в силу интенсивного доступа к разным частям файла, содержимое также оказывается в памяти, если объем не жмет).

Пути выходного файла есть: второй параметр в osm2bin и osmbin2map. Но есть подозрение, что не окажет существенного влияния: основная запись выходных данных начинается уже после чтения входных. Есть еще промежуточные файлы в temp-каталоге, но как мне представляется, основное потребление времени -- это не файловые операции. Много тянул парсинг оригинального xml, но с переходом на pbf ситуация улучшилась раз в 5.

_________________
Боюсь, у меня нет никаких фобий...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Andrew
писатель


Зарегистрирован: 12.12.2003
Сообщения: 103
Откуда: Minsk

СообщениеДобавлено: 02 Ноя 2016 14:40    Заголовок сообщения: Ответить с цитатой

При конвертации загрузка процессора не превышала 15%.
Времени конвертации при переходе на pbf: 1 этап - 13 мин., 2 этап - 14 -мин.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Kong En Ge
DevTeam


Зарегистрирован: 05.11.2003
Сообщения: 6638
Откуда: Minsk

СообщениеДобавлено: 02 Ноя 2016 15:00    Заголовок сообщения: Ответить с цитатой

Цитата:
загрузка процессора не превышала 15%.

Совокупно или на ядро? Там параллелить не очень получается на ядра.

Цитата:
при переходе на pbf: 1 этап - 13 мин

А был, поди, под час? :-)

_________________
Боюсь, у меня нет никаких фобий...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Andrew
писатель


Зарегистрирован: 12.12.2003
Сообщения: 103
Откуда: Minsk

СообщениеДобавлено: 02 Ноя 2016 15:04    Заголовок сообщения: Ответить с цитатой

Загрузка процессора - совокупно.
С предыдущим форматом было минут ~40.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Kong En Ge
DevTeam


Зарегистрирован: 05.11.2003
Сообщения: 6638
Откуда: Minsk

СообщениеДобавлено: 02 Ноя 2016 15:16    Заголовок сообщения: Ответить с цитатой

Цитата:
Загрузка процессора - совокупно.

можно попробовать еще вдвое срезать время на osm2bin с учетом независимо-блочной структуры pbf; хотя на уже достигнутых временах задача больше академического интереса

_________________
Боюсь, у меня нет никаких фобий...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Andrew
писатель


Зарегистрирован: 12.12.2003
Сообщения: 103
Откуда: Minsk

СообщениеДобавлено: 02 Ноя 2016 15:28    Заголовок сообщения: Ответить с цитатой

Исходя из мониторинга ресурсов, во время конвертации самый активный обмен данными был в папке TEMP. Попробую поиграться с размещением файлов конвертации на виртуальном диске(в оперативной памяти).
Размер используемой оперативной памяти на протяжении всего этапа конвертации практически не менялся(в запасе не менее 2 гиг оперативы)
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Kong En Ge
DevTeam


Зарегистрирован: 05.11.2003
Сообщения: 6638
Откуда: Minsk

СообщениеДобавлено: 02 Ноя 2016 15:32    Заголовок сообщения: Ответить с цитатой

Цитата:
в запасе не менее 2 гиг оперативы

Когда у меня закончилась память на лобовой конвертации Украины, пришлось в качестве основного решения использовать файлы :-)
Время простых решений прошло, теперь нужно тоньше подбирать способы.

_________________
Боюсь, у меня нет никаких фобий...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Andrew
писатель


Зарегистрирован: 12.12.2003
Сообщения: 103
Откуда: Minsk

СообщениеДобавлено: 02 Ноя 2016 15:44    Заголовок сообщения: Ответить с цитатой


На виртуальном диске первый этап завершился через 6 минут.
И все равно самым медленным участком является папка temp а она на физическом диске у меня.
Если получится в ближайшее время нарастить оперативку то и temp вынесу на виртуальный диск.
Останется только чисто алгоритм конвертации.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Kong En Ge
DevTeam


Зарегистрирован: 05.11.2003
Сообщения: 6638
Откуда: Minsk

СообщениеДобавлено: 02 Ноя 2016 20:20    Заголовок сообщения: Ответить с цитатой

Цитата:
На виртуальном диске первый этап завершился через 6 минут.

Я на скорую руку добавил более умного кэширования по записи (0.2.4.3, можно скачать). Примерно -39% по времени на osm2bin (35с->20c) и -22% (31c->24c) на osmbin2map.
Можно еще попробовать многопоточность, но там не очевидно, что более значимо будет: параллельность вычислений или синхронизация.

_________________
Боюсь, у меня нет никаких фобий...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Kong En Ge
DevTeam


Зарегистрирован: 05.11.2003
Сообщения: 6638
Откуда: Minsk

СообщениеДобавлено: 02 Ноя 2016 20:22    Заголовок сообщения: Re: CityInfo:OSMView Ответить с цитатой

0.2.4.3
Эксперыментальныя змены на карысць хуткасці апрацоўкі. Дзякую Andrew за навядзенне на думку.

_________________
Боюсь, у меня нет никаких фобий...


Последний раз редактировалось: Kong En Ge (19 Янв 2017 12:44), всего редактировалось 1 раз
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Показать сообщения:   
Начать новую тему   Ответить на тему    Список форумов forum.esmasoft.com -> CityInfo® Часовой пояс: UTC + 3
На страницу Пред.  1, 2, 3, 4  След.
Страница 2 из 4
 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы
Вы можете скачивать файлы


Powered by phpBB © 2001, 2005 phpBB Group

0.347 sec