forum.esmasoft.com

Kong En Ge · DevTeam Joined: 05 Nov 2003 Posts: 7012 Location: Minsk

Крыху новы накірунак звыклых рэчаў ~~на першае красавіка~~.
Без абяцанняў і гарантый. Адвядзіце, калі ласка, хатніх гаспадыняў ад клавіятуры.

Mixail · молчун Joined: 11 Nov 2010 Posts: 5

Kong En Ge, Выбрал, заработало!

Там стоял очень странный дефолт:
%USERPROFILE%\AppData\Local\CityInfo\OSMView\Class\

Особенно интересно он смотрится с учетом того, что OSMView своё добро хранит в Roaming, а не Local.

Может, стоит исправить на <рабочий каталог>\data ?

-----

Ещё хотелка: в окне со слоями первым пунктом поставить ISF, а то постоянно нужно переключаться.

Kong En Ge · DevTeam Joined: 05 Nov 2003 Posts: 7012 Location: Minsk

Mixail · молчун Joined: 11 Nov 2010 Posts: 5

Kong En Ge, Вопрос, а идентификаторы узлов у вас восьмибайтные? Если нет, то неплохо бы изменить, иначе вскоре появятся проблемы с конвертацией.

http://wiki.openstreetmap.org/wiki/64-bit_Identifiers

Kong En Ge · DevTeam Joined: 05 Nov 2003 Posts: 7012 Location: Minsk

Kong En Ge · DevTeam Joined: 05 Nov 2003 Posts: 7012 Location: Minsk

0.2.2.1
1) Бягучая канфігурацыя пакрывае класіфікацыяй больш за 98% са зместу зыходнага дампа.
2) На ~20% зменшаны аб'ём памяці пад дадзеныя загружанай мапы (дзе было 90М стала 70М). З гэтай нагоды старыя .oso файлы трэба сканвертаваць паўторна праз OSMbin2map, каб выкарыстоўваць у апошняй OSMView.

Тбілісі з намі:

Kong En Ge · DevTeam Joined: 05 Nov 2003 Posts: 7012 Location: Minsk

0.2.3.1
1. Выпраўлена пэўная колькасць праблем з імпартам вялікіх файлаў (у якасці выпрабавання паспяхова апрацаваны зыходны файл памерам у 9 гігабайт).
2. Даданая украінская лакалізацыя.

Вітаем у Кіеве:

genom · Posted: 04 Oct 2016 22:48 Post subject:

Пасля выканання гэтага усяго ~~непатрэбства~~ працесса, файл belarus-latest.osm ужо непатрэбны i яго можна удалiць? Для працы праглядальнiка неабходныя толькi act ды oso файлы?

Kong En Ge · DevTeam Joined: 05 Nov 2003 Posts: 7012 Location: Minsk

genom, Нават .oso непатрэбны, калі абмяжоўвацца толькі праглядам.

Andrew · Posted: 30 Oct 2016 13:08 Post subject:

Как насчет того чтоб раз в квартал выкладывать полностью собранный(сконвертированный) комплект?
Могу сам это делать - по крайней мере по РБ.

Kong En Ge · DevTeam Joined: 05 Nov 2003 Posts: 7012 Location: Minsk

TarasBY · молчун Joined: 30 Oct 2016 Posts: 1

А поиск (на карте) у сей реализации есть?

Kong En Ge · DevTeam Joined: 05 Nov 2003 Posts: 7012 Location: Minsk

Kong En Ge · DevTeam Joined: 05 Nov 2003 Posts: 7012 Location: Minsk

0.2.4.1
1) Даданая падтрымка .pbf-фармату зыходных дадзеных (у разы меншых і хутчэйшых у апрацоўцы). Імпарт з .osm таксама нікуды не падзеўся, калі каму патрэбны.
2) Выпраўлена пэўная колькасць хібаў "знутры"
3) Канфігурацыя імпарту належна разбірае пераважную большасць аб'ектаў. Пачынаем рух у бок паляпшэння генералізацыі і знешняга выгляду.

Ерэван у эфіры:

Kong En Ge · DevTeam Joined: 05 Nov 2003 Posts: 7012 Location: Minsk

0.2.4.2
Невялікія выпраўленні пад знойдзеныя на Паўночнай Карэі асаблівасці дадзеных (пачынаць ад osm2bin). Дзякуем клану таварышаў Кімаў за належнае тэрафармаванне.

Andrew · Posted: 02 Nov 2016 11:47 Post subject:

Можно ли утилиты конвертации заставить в бОльшей степени использовать оперативную память с целью минимизации обращения к жесткому диску?
Не помешало бы иметь возможность задавать путь выходного файла(при наличии нескольких дисков в системе это ускорило бы процесс конвертации).

Kong En Ge · DevTeam Joined: 05 Nov 2003 Posts: 7012 Location: Minsk

Andrew, osm2bin -- линейный по доступу к исходному файлу процесс, сокращать дисковые операции негде.
osmbin2map изначально проецирует исходный файл в память, и уже операционка решает, как ей лучше предоставить доступ -- чтением или хранением в памяти (подозреваю, что в силу интенсивного доступа к разным частям файла, содержимое также оказывается в памяти, если объем не жмет).

Пути выходного файла есть: второй параметр в osm2bin и osmbin2map. Но есть подозрение, что не окажет существенного влияния: основная запись выходных данных начинается уже после чтения входных. Есть еще промежуточные файлы в temp-каталоге, но как мне представляется, основное потребление времени -- это не файловые операции. Много тянул парсинг оригинального xml, но с переходом на pbf ситуация улучшилась раз в 5.

Andrew · Posted: 02 Nov 2016 14:40 Post subject:

При конвертации загрузка процессора не превышала 15%.
Времени конвертации при переходе на pbf: 1 этап - 13 мин., 2 этап - 14 -мин.

Kong En Ge · DevTeam Joined: 05 Nov 2003 Posts: 7012 Location: Minsk

Andrew · Posted: 02 Nov 2016 15:04 Post subject:

Загрузка процессора - совокупно.
С предыдущим форматом было минут ~40.

Kong En Ge · DevTeam Joined: 05 Nov 2003 Posts: 7012 Location: Minsk

Andrew · Posted: 02 Nov 2016 15:28 Post subject:

Исходя из мониторинга ресурсов, во время конвертации самый активный обмен данными был в папке TEMP. Попробую поиграться с размещением файлов конвертации на виртуальном диске(в оперативной памяти).
Размер используемой оперативной памяти на протяжении всего этапа конвертации практически не менялся(в запасе не менее 2 гиг оперативы)

Kong En Ge · DevTeam Joined: 05 Nov 2003 Posts: 7012 Location: Minsk

Andrew · Posted: 02 Nov 2016 15:44 Post subject:

На виртуальном диске первый этап завершился через 6 минут.
И все равно самым медленным участком является папка temp а она на физическом диске у меня.
Если получится в ближайшее время нарастить оперативку то и temp вынесу на виртуальный диск.
Останется только чисто алгоритм конвертации.

Kong En Ge · DevTeam Joined: 05 Nov 2003 Posts: 7012 Location: Minsk

Kong En Ge · DevTeam Joined: 05 Nov 2003 Posts: 7012 Location: Minsk

0.2.4.3
Эксперыментальныя змены на карысць хуткасці апрацоўкі. Дзякую Andrew за навядзенне на думку.