ВАЖНОЕ СООБЩЕНИЕ

[пост от 19 марта 2021 г.]

Дорогие друзья!

С глубоким сожалением и одновременно с чувством гордости я вынужден сообщить вам, что проект "Флора России | Flora of Russia" на платформе iNaturalist достиг технологического потолка платформы. Это произошло всего лишь через два года и два месяца после старта нашего проекта, который быстро стал стандартом и образцом для подражания.

В последнее время главная страница портала "Флора России" (https://www.inaturalist.org/projects/flora-of-russia/) стала очень плохо загружаться. Примерно в середине марта она перестала загружаться совсем. Сейчас работа главной страницы нестабильна.

После обращения в тех. поддержку стало очевидно, что мы, как ни странно, достигли технического потолка платформы. Каждый региональный проект имеет в настройках, как минимум, три фильтра: таксономический (сосудистые растения), географический (контур региона, иногда с дополнительными небольшими контурами-добавками) и уровень качества ("исследовательский уровень"). Таким образом, при загрузке данных с сервера происходит общая обработка около 250 фильтров, что занимает более 30 секунд. Сервер настроен так, что запрос в этом случае прерывается.

Именно числом фильтров определяется сложность проекта, а не объемом данных. Если быть настойчивым, несколько раз перезагружая страницу, то можно всё же добиться загрузки всех элементов главной страницы портала: базовой статистики, табло регионов и карты с красными квадратиками. Во время загрузки эти элементы кэшируются, поэтому с каждой перезагрузкой число запрашиваемых с сервера элементов сокращается.

Опытным путём мы установили, что при текущем устройстве нашего зонтичного проекта и такой комбинации фильтров предел технических возможностей платформы лежит примерно на отметке 45 регионов и 870 тыс. наблюдений.

Поскольку наш проект единственный, у кого пока возникли такие проблемы, то вряд ли ситуация с настройками серверов платформы решится в ближайшем будущем. Хотя вскоре ещё несколько зонтичных проектов (например, City Nature Challenge 2021) могут столкнуться с этой проблемой. Это может ускорить решение данного вопроса.


ЧТО ЖЕ ДЕЛАТЬ?

Не впадать в уныние! Вы ведь заметили новое слайд-шоу из баннеров?! Такого пока ни у кого нет. Надеемся на будущее технологическое развитие любимого iNaturalist и решение текущего вопроса с загрузкой.

Вот список временных решений:

1) Временно создано два новых зонтика: первая лига (топ-30 регионов) и вторая лига (ещё 55 регионов), разделенных по отсечке 10 000 наблюдений.

2) Как и прежде, прекрасно работает журнал проекта.

3) Рейтинг регионов мы публикуем раз в несколько дней, вот последний из них.

4) Полный рейтинг наблюдателей и экспертов, а также общее число наблюдений и видов пока можно посмотреть тут.

5) Гиперссылки на региональные порталы есть в описании проекта. Сами региональные порталы по одиночке работают без проблем.


КАК МОЖНО ПОМОЧЬ?

1) Мы собираем ваши подробные заметки о том, что у кого грузится и не грузится в этой ветке. Пожалуйста, напишите подробности! Кстати, табличную статистику для этой отсечки несколько дней назад я смог выгрузить и обработать с большим трудом. Для следующей отсечки статистику будем добывать уже другими способами.

2) Напишите о проблемах с загрузкой данных на форуме iNaturalist в разделе Bugs. Я писал в техподдержку как руководитель проекта, нужен отклик от вас как от заинтересованных (надеюсь) юзеров. Можете написать по электронной почте в техподдержку и вы.

3) Стоит бросить все силы на участие в мировом City Nature Challenge 2021, чтобы данные мирового челленджа достигли, наконец, критической массы. По структуре и объему данных, а также по фильтрам этот проект - самый близкий к нашему. Единственное очень важное отличие - таксономические фильтры, которые в челлендже не используются.

В целом, у меня ощущение, что именно из-за них происходит главное торможение запросов. Любой запрос в разделе "Исследуйте", который включает большой объем данных по крупной таксономической группе (например, сосудистые растения или членистоногие) выполняется заметно медленнее, чем стандартные запросы по географии, пользователям, отдельным родам или видам.


Posted by apseregin apseregin, February 22, 2021 05:17

Comments

Thumb

Интересно, можно ли как то добиться того, чтоб в проекте зонтике не использовались все фильтры внутренних проектов, а просто было отдельные три фильтра: страна, таксономия и исследовательский статус?

Posted by yurii_basov 21 days ago (Flag)
Thumb

Первая лига полностью загрузилась с третьей попытки, вторая - с четвёртой.

Posted by aleksandrebel 19 days ago (Flag)
Thumb

Первая лига грузится без всяких проблем мгновенно, без подгрузки, вторая отказывается грузиться совсем, сколько не перезагружаю, только если оставить и ждать, не знаю, в целом все важные лично регионы представлены в первой, так что уже хорошо.
upd. Пока писала, и она перестала грузиться заново.

Posted by melodi_96 19 days ago (Flag)
Thumb

По ходу, такой способ как нарезка зонтика никакие серьезные проблемы не решает. Всё совершенно непредсказуемо. Тем большим спросом будет пользоваться статистика круглых отметок (если ее удастся адекватно вынимать по трудозатратам)

Posted by apseregin 19 days ago (Flag)
Thumb

Надо переделать проект с зонтичного на моно. Иначе всё время будем упираться в "крышу теплицы".

Posted by a-lapin 18 days ago (Flag)
Thumb

Может быть не переделать, но простой collection project "Флора России" (может быть с вариациями названия) явно не помешает. Проблем с ним быть не должно. Для не столь важной цели как соревнование регионов не поможет, но для статистики по России в целом будет полезен.

Кстати, в последние времена и наблюдения в середине дня постятся очень медленно.

Posted by oleg_kosterin 17 days ago (Flag)
Thumb

Пока главная проблема заключается в том, что URL проекта (https://www.inaturalist.org/projects/flora-of-russia ) ведёт на нестабильную страницу, что рано или поздно исключит нас из гуглопоиска. С этой страницы нельзя поставить редирект. И проект нельзя переформатировать под коллекционный с сохранением URL. Только новый.
Технических проблем скорее косметического плана в общем-то нет (если бы список регионов был на второй закладке, то на это вообще можно было бы забить), а вот с концепцией всё полетело и надо начинать заново в новой парадигме. В общем, надо подумать. Но я уверен, что умеренная геймификация служит только на пользу дела. Плоский проект не выстрелил бы. Точнее, я бы и не стал им заниматься.

Posted by apseregin 17 days ago (Flag)
Thumb

Сделать отдельный плоский проект параллельно для отдельных технических нужд в любом случае не помешало бы.

Posted by oleg_kosterin 17 days ago (Flag)
Thumb

Еще мне кажется что дело не только в достижении некоторого объема. Мне кажется, связь вовне вообще замедлилась. И может быть что-то в этом духе может случаться и дальше.

Posted by oleg_kosterin 17 days ago (Flag)
Thumb

Вот согласен. Долго подгружаются даже просто отдельные наблюдения и особенно нижняя панель где голосования за культурное и прочее

Posted by yurii_basov 17 days ago (Flag)
Thumb

Технический: https://www.inaturalist.org/projects/fl-orus-3
Сделал в ту пятницу.
Надо будет оформить как следует

Posted by apseregin 17 days ago (Flag)
Thumb

fl-orus-3 - получилась полезная штука. Быстро грузится. Удобно работать с картой. Только с заполярными островами не всё хорошо. Надо бы сделать как на других морских границах, пошире, прямыми линиями. (Тем более, что Северный Полюс тоже наш!)

Posted by a-lapin 17 days ago (Flag)
Thumb

А может стоит сделать зонтичные проекты по федеральным округам?

Posted by yuriydanilevsky 14 days ago (Flag)
Thumb

Сегодня у меня открывается основной проект. Ура! :) Или рано радоваться?))

Posted by anastasiiamerkulova 11 days ago (Flag)
Thumb

В первой половине дня в будни такое бывает чаще, чем по вечерам или в выходные. Пока живём )

Posted by apseregin 11 days ago (Flag)

Add a Comment

Sign In or Sign Up to add comments