Hej,
jakiś czas temu pisałem pracę licencjacką na Uniwersytecie Warszawskim, zająłem się problemem przetwarzania logów IGC i tworzenia mapy termicznej. Wyniki (w tym też wygenerowane mapy) można obejrzeć tu:
http://osowski.info/posts/hyperthermic (http://osowski.info/posts/hyperthermic)
Pierwszym krokiem do uzyskania takiej mapy było wydobycie kominów termicznych z 50GB logów IGC. No i pomyślałem, że tak wstępnie przetworzone dane to materiał potencjalnie bardzo przydatny w środowisku szybowcowym. W związku z czym prezentuję pierwszą (według mojej najlepszej wiedzy), sporą bazę kominów termicznych. 5M kominów, 750MB danych w CSV. Zapisy głównie z Europy, źródła: SoaringSpot, SzPP z lat 2002-2015.
http://osowski.info/posts/thermals_release (http://osowski.info/posts/thermals_release)
Pytania/uwagi mile widziane.
Łał!!!!!
Cytat: marcin.osowski w Styczeń 19, 2016, 22:04
Zapisy głównie z Europy, źródła: SoaringSpot, SzPP z lat 2002-2015.
http://osowski.info/posts/thermals_release (http://osowski.info/posts/thermals_release)
Pytania/uwagi mile widziane.
Świetna robota Marcin!!
Co do źródeł igc nie zapominaj o OLC, to chyba największa skarbnica plików IGC dostępna w sieci
Pozdrawiam
Piotrek
Marcin napisał w tekście dlaczego nie mógł używać w szerokim zakresie plików z OLC - ograniczenie pobierania dziennego do 10 plików.
Na pewno przydałaby kiedyś się stratyfikacja danych i rozdzielenie szybowców znacznie odbiegających od siebie osiągami, co zwykle też skolerowanr jest z doświadczeniem pilota. Może stosowanie współczynników :-) Wg opinii kolegów Lasy Janowskie powinny być krwisto czerwone. Może to ten powód?
Drugi pomysł na przyszłość, to: jak latają mistrzowie w porównaniu że średnią. Ciekawe BARDZO!
Świetna robota.
Krzysiek.
To prawda, OLC jest bardzo duże. Chciałem też przetworzyć logi stamtąd, ale niestety OLC ma dosyć niski limit na ilość pobranych logów dziennie na użytkownika (10). Tak samo w przypadku gcup.eu. Chociaż myślę, że jakby pojawiły się bardzo ciekawe wyniki to udałoby się ich przekonać do udostępnienia bazy w celach badawczych :)
Z rzeczy które chodziły mi po głowie w związku z tymi danymi to:
1) ewaluacja prognoz pogody szybowcowych, co mówią prognozy, a co naprawdę zarejestrowali piloci;
2) model terenu, to znaczy: nad czym najlepiej nosi, kiedy w ciągu dnia, przechowywanie ciepła, wpływ nachylenia terenu, wpływ wiatru;
3) model żagla/fali górskiej - tu wymagany byłby oczywiście inny preprocessing na IGC niż wyłapywanie momentów krążenia.
Cytat: marcin.osowski w Styczeń 19, 2016, 22:04
Hej,
jakiś czas temu pisałem pracę licencjacką na Uniwersytecie Warszawskim, zająłem się problemem przetwarzania logów IGC i tworzenia mapy termicznej. Wyniki (w tym też wygenerowane mapy) można obejrzeć tu:
http://osowski.info/posts/hyperthermic (http://osowski.info/posts/hyperthermic)
Pierwszym krokiem do uzyskania takiej mapy było wydobycie kominów termicznych z 50GB logów IGC. No i pomyślałem, że tak wstępnie przetworzone dane to materiał potencjalnie bardzo przydatny w środowisku szybowcowym. W związku z czym prezentuję pierwszą (według mojej najlepszej wiedzy), sporą bazę kominów termicznych. 5M kominów, 750MB danych w CSV. Zapisy głównie z Europy, źródła: SoaringSpot, SzPP z lat 2002-2015.
http://osowski.info/posts/thermals_release (http://osowski.info/posts/thermals_release)
Pytania/uwagi mile widziane.
Siec OGN moze byc bardzo dobrym zródłem danych. Mapę kominów na żywo robi juz Gerhard: http://staging.kisstech.ch/ktrax/ (http://staging.kisstech.ch/ktrax/) - wopcjach można wybrać "live thermals", oczywiście w zimie tego wiele nie ma...
Cześć Marcin,
Na pierwszy rzut oka wygląda to bardzo interesująco. Myślę, że taka masowa analiza logów ma ogromny potencjał. Przy odpowiednio dużej bazie danych pewnie można by rozbudować wyniki w zależności od pory dnia, pory roku, itp.
Nie udało mi się tego doczytać w materiałach dostępnych na Twojej stronie - czy wykorzystana przez Ciebie metoda analizy danych uwzględnia datę i godzinę występowania noszenia?
Zakładając duże uproszczenie, że do analizy wykorzystujemy jeden plik, wówczas pora dnia będzie miała duży wpływ na otrzymane wyniki:
- tam gdzie byliśmy rano - kolor niebieski
- tam gdzie byliśmy w szczycie termiki - kolor czerwony
- kominy dolotowe pod koniec dnia - kolor znowu niebieski
Podobnie będzie, jeśli porównamy dwa pliki z różnych miejsc w Polsce - jeden z majowego dnia z silną termiką, drugi z wrześniowej słabej bezchmurnej.
Pozdrawiam,
Łukasz
Idea nie jest nowa. WinPilot pozwalal na generowanie pozycji kominow z logow OLC juz prawie 20 lat temu. To bylo jeszcze wtedy gdy mozna bylo sciagnac wszystkie loty z OLC na raz.
Niestety jest pare chaczykow:
- "kominy" sa pokazane tylko gdzie ktos lata. Watpie zeby w rosji byl jeden jedyny obszar kominow.
- "kominy" sa "czestsze" w obszarach bez okraniczen lotow (C, D, etc.)
- "kominy" sa najczesciej blisko lotnisk
Wnioski z tego wyciagnijcie sami.
Z tego co robilem kilkanascie lat temu (mialem dane dwu lat z OLC z mojego obszaru). Mozna bylo sobie znalezc kilka miejsc kominow z duzym prawdopodobienstwem, ze "tu moze ciagnac". Obliczenia live z WinPilot byly tylko dostateczne jezeli wiatr byl maly (ponizej 10km/h) i jezeli wysokosc byla mala (ponizej 500mAGL).
Cytat: grabek w Styczeń 20, 2016, 09:04
Myślę, że taka masowa analiza logów ma ogromny potencjał. Przy odpowiednio dużej bazie danych pewnie można by rozbudować wyniki w zależności od pory dnia, pory roku, itp.
W górach dodatkowo warto uwzglednić kierunek wiatru, za to pora roku nie powinna mieć w górach zbyt dużego znaczenia.
Jak już kolega napisał analiza logów nie jest nowa. W trakcie zeszłorocznego GCC pogoda nie rozpieszczała i pojawił się nadmiar czasu do zagospodarowania. Przeanalizowałem pliki IGC z paru poprzednich FCC z uwzględnieniem siły kominów, uzyskanej wysokości i kierunku wiatru. Po wgraniu uzyskanych punktów do SeeYou można było wywnioskować położenie najlepszych ognisk termicznych w zależności od kierunku wiatru w Tatrach, Fatrach i Beskidach. Jednak aby otrzymać sensowne dane nadające się do sporządzenia mapy ognisk termicznych trzeba było je 'odszumić' z różnych czynników zaburzających statystykę np.:
- Spora rozpiętość doświadczenia startujących zawodników (to jest moim zdaniem główny problem masowej analizy logów)
- Wybieranie w kominach na przeskoku
- Jednorazowe bąble termiczne
Odszumienie mniej lub bardziej się udało, niestety zabrakło czasu na sporządzenie mapy. Może znajdzie się tej zimy ...
Co do wpływu pory dnia na siłę kominów, to rzeczywiście jest to sprawa istotna, i aż się prosi żeby uwzględnić w analizie. Z tych danych wynika następująca zależność (gdzie czas to czas lokalny, słoneczny - czyli zależny w sposób ciągły od długości geograficznej):
(http://osowski.info/static/posts_content/hyperthermic/vv_local_time_plot.png)
Jeżeli chodzi o szum, to okazało się, że inny czynnik dosyć istotnie "psuje" dane - krążenie w kominach w okolicy punktu startu. Średnia dla takich kominów była mocno zaniżona, i w efekcie skutkowało to "zimnymi" plamami dookoła każdego ważniejszego lotniska. Według mnie jest to wpływ znanego z zawodów zjawiska kręcenia się w niekoniecznie najlepszych noszeniach przed przecięciem linii startu (w końcu nie o prędkość komina wówczas chodzi, a o przeczekanie). Z problemem tym poradziłem sobie w sposób odrobinę brutalny - wyciąłem wszystkie kominy w odległości 20km od punktu startu. Wykres obrazujący zjawisko:
(http://osowski.info/static/posts_content/hyperthermic/takeoff_thermal_distance_vv_plot.png)
Co do rozbudowania tej analizy, to zdecydowałem się opublikować wszystko, bo od kiedy skończyłem studia mam już mniej czasu na ten projekt (a przyznam, że jest przy tym trochę zabawy :) ). Zachęcam do pociągnięcia tematu (na przykład przy okazji pracy dyplomowej), który ma moim zdaniem potencjał! Zagadnienie (poza projektami poruszonymi już w tym wątku) zostało także podjęte przez Michaela von Känel (http://thermal.kk7.ch/ (http://thermal.kk7.ch/), na tej stronie można odnaleźć jego pracę magisterską gdzie opisane są szczegóły), oraz przez Beda Sigrist (http://www.aerodrome-gruyere.ch/thermap/ (http://www.aerodrome-gruyere.ch/thermap/) - teoretyczny model termiki górskiej, Michael w swojej pracy pokazuje, że jego wyniki zgadzają się z tym modelem).
Marcin,
cieszę się, że tak zupełnie nie zapomniałeś o szybowcach. Co do analizy, to myślę że rzeczywiście Elmer i inni mogliby pomyśleć o weryfikacji swoich modeli i opartych na nich prognozach o rzeczywiste dane z logów: siła, zasięg, występowanie. Oczywiście warunek, że te są dostępne. Fantastyczna robota.
Pozdrawiam i obyś kilka logów wyprodukował jak najszybciej samodzielnie.
B.
Winpilot ma taką funkcję wskazywania miejsc termicznych i swego czasu była zrobiona przez Oyame baza (logi głównie z zawodów z kilku lat) danych termicznych dla kilku regionów Polski. I jakoś to tam sobie działało uwzględniając położenie słońca i wiatr.
A mnie jakoś nie ciągnie taka wizja szybownictwa: lecimy wpatrzeni w komputer, wskazujący miejsce gdzie jest komin...
Cytat: Zbyszek w Styczeń 21, 2016, 19:18
A mnie jakoś nie ciągnie taka wizja szybownictwa: lecimy wpatrzeni w komputer, wskazujący miejsce gdzie jest komin...
Ja widzę sens takich analiz w określaniu ew. dobrych termicznie rejonów i np. opracowaniu termicznej mapy poglądowej danego obszaru która ułatwiałaby wykładanie tras. Choć na poważnych zawodach tzw. taskseterzy zwykle w d...e mają czy pilotom będzie tylko trochę ciężko czy bardzo ciężko ::) i planują trasy w/g sobie tylko znanego klucza.
Tomek, bądź realistą. Takie analizy dostepne na pokładzie w połączeniu z podglądaniem flarmowym - i połowa zawodników leci wpatrzona w monitory
Nie ma co tak demonizować :) Różne mniej lub bardziej formalne mapy powstawały wcześniej. Wystarczyło przejrzeć w SeeYou logi czołowych zawodników i zobaczyć gdzie krązyli... A przed erą GPS bardziej doświadczeni zawodnicy przekazywali młodszym położenie ognisk termicznych.
Tak przy okazji, nie warto robic masowej analizy logów w celu wyszukania ognisk termicznych, bo logi mniej doświadczonych pilotów ukryją w swoim szumie wartościowe informacje ...
Bardzo się jednak cieszę, że zrobiłeś tak ciekawą analizę - dostrzeżenie nowych możliwości oferowanych przez rozwój techniki (chmury obliczeniowe, logery) pozwala popchnąć rozwój naszej dyscypliny.
Opracowanie bardzo ciekawe, ale dla okolic EPGI dość zaskakujące - wygląda to tak, jakby nad Borami Tucholskimi termika była gorsza niż nad Wisłą i generalnie jakby było to jedno ze słabszych miejsc do latania.
Może warto skupić się na pozyskaniu jak największej ilości logów z Polski (jakaś akcja "nadsyłajcie logi" ?) i na tej podstawie uzyskać lepsze dane dla naszego "podstawowego" terenu do latania?
Warto chyba też pomyśleć o uwzględnieniu latania na przykład pod szlakami. przy przyjętej metodyce bardzo dobre warunki będą zaniżać wyniki dla danego rejonu, bo piloci nie będą krążyć. przykład opisany na relacji z Flajówki 2014: https://lisie.pl/blog/2014/05/12/flajowka-2014/
Dariusz Dembek na "długalu" obleciał 300km krążąc tylko raz - nad lotniskiem. Mamy tu więc noszenia nawet 6m/s podstawy 2,5km czyli warunki "powyżej przeciętnych" ;), a z logu (po obcięciu wyników z 20km od lotniska) wynikałoby, że nie stwierdzono obecności termiki...
Cześć,
Również w ramach póki co amatorskiej analizy, a za rok-dwa, pracy inżynierskiej zacząłem gromadzić i oglądać duże ilości logów. Doszedłem przy tym do odwrotnego niż większość wniosku. Najlepsze są logi słabszych pilotów. Najszybsi zawodnicy, zwłaszcza miejscowi, krążą mniej i mają dobrą selekcję noszeń. Natomiast powiedzmy dolne 20% logów, ale tych pilotów, którzy oblecieli trasę ce(brzydkie słowo)e się najczęściej większą przypadkowością kręconych kominów i większą ilością rozpoczętych krążeń. Mniej wybredna selekcja kominów odpowiada bardziej potrzebom mapy termicznej, gdyż dobre termicznie miejsca bardziej wyróżniają się na tle mapy i można łatwiej przyporządkować je do ognisk terenowych.
Pozdrawiam,
Artur Łończuk
Cytat: Zbyszek w Styczeń 21, 2016, 20:36
Tomek, bądź realistą. Takie analizy dostepne na pokładzie w połączeniu z podglądaniem flarmowym - i połowa zawodników leci wpatrzona w monitory
POLOWA????
Obstawiam, że "większa" :P
Artur, koniecznie napisz o swoich wynikach!
@Zygmunt: faktycznie, wyniki dla okolic Grudziądza są dosyć zaskakujące, natomiast nie jestem w stanie powiedzieć na czym polega tu problem. Na pewno nie jest to niedostateczna ilość danych. Być może brak normalizacji względem pory dnia/roku w jakiś szczególny sposób uwidocznia się na tym obszarze.
Wystarczy, że akurat podczas zawodów pogoda nie siadła. Poza tym na zawodach czasami lata się w pogodach, w których poza zawodami byśmy nie zdecydowali się na lot.