Kibana, czyli zabawa danymi

Czas czytania ~ 130 sekund Poprzedni wpis na blogu demonstrował, jak wrzucić logi z aplikacji ASP.NET Core do Elasticsearcha. O potężnych możliwościach tego narzędzia pisałem przy okazji konkursu "Daj się poznać". Tutaj o wyszukiwaniu, tutaj o agregacjach a tutaj o scoringu. Drobną przeszkodą w korzystaniu z Elasticsearcha, zwłaszcza dla początkujących może być DSL - język … Continue reading Kibana, czyli zabawa danymi

Advertisements

Semantic logging w ASP.NET Core: Serilog + Elasticsearch

Czas czytania ~ 180 sekund Zdarzenia w aplikacji logować oczywiście trzeba. Często informacje budujemy w ten sposób, by były czytelne dla kolejnej osoby, która otworzy taki plik z logiem. Przykład: User jkowalski failed to log in at 2016-12-30 09:21:04 from 192.0.78.25 Niby mamy wszystkie informacje, jest to czytelne dla człowieka. Problem pojawia się, gdy takich logów … Continue reading Semantic logging w ASP.NET Core: Serilog + Elasticsearch

[DajSięPoznać#19] Elasticsearch, Microsoft Azure, Docker, elasticdump

Wstęp Do rozwiazań chmurowych dziś nikogo nie trzeba przekonywać. Liderem w ostatnich latach wydaje się być Azure, dlatego to jego w pierwszej kolejności warto wypróbować . Aby rozpocząć pracę z chmurą, wystarczy posiadać konto Microsoft (np @outlook.com) i potwierdzić swoją tożsamość poprzez SMS-a i podać dane karty kredytowej (może być wirtualna, taka jak ta). Zaczynamy z 200$ … Continue reading [DajSięPoznać#19] Elasticsearch, Microsoft Azure, Docker, elasticdump

[DajSięPoznać#11] Elasticsearch scoring, system rekomendacji

Wstęp Przeszukiwanie dużych zbiorów danych w oparciu o filtry boolowskie ma swoje wady. Może się na przykład tak zdarzyć, że zaznaczymy iż interesują nas oferty do 350 000, do 50 m^2 i blisko centrum. Tymczasem niefortunnie okaże się, że najlepiej pasująca nam oferta ma wartość 350 001 i nasz filtr ją pominie. Dlatego warto rozważyć … Continue reading [DajSięPoznać#11] Elasticsearch scoring, system rekomendacji

[DajSięPoznać#9] Elasticsearch: wyszukiwarka jak google, trendy jak na twitterze

Wstęp W jednym z pierwszych postów opisywałem, jak zbudować inteligentną wyszukiwarkę, odporną na literówki użytkowników. Tym razem również zbudowane zostanie API do przeszukiwania pełnotekstowego, ale znacznie bogatsze z dużym naciskiem na wydajność. Dodatkowo opisywany również wcześniej bucketing można wykorzystać do zbudowania analogicznej funkcjonalności jak trendy na twitterze, a więc monitorowanie tego, które słowa często pojawiają … Continue reading [DajSięPoznać#9] Elasticsearch: wyszukiwarka jak google, trendy jak na twitterze

[DajSięPoznać#7] Elasticsearch Aggregations

Wstęp Po zdobyciu danych i wrzuceniu ich do Elasticsearcha można wykonać na nich sporo ciekawych operacji statystycznych przy użyciu mechanizmu agregacji Elasticsearcha. Która dzielnica ma najwięcej ogłoszeń ? Gdzie ceny za metr są najwyższe ? Ile ogłoszeń ma cenę powyżej pół miliona zł ? F# i serializacja do JSON F# przy aplikacjach webowych może sprawić … Continue reading [DajSięPoznać#7] Elasticsearch Aggregations

[DajSięPoznać#2] Elasticsearch – budowa inteligentnej wyszukiwarki

Wstęp Elasticsearch to baza NoSql zorientowana na przetwarzanie ogromnych ilości danych, zarówno tekstowych, jak i numerycznych. Można dzięki niej zbudować wyszukiwarkę pełnotekstową a'la google. W tym projekcie będzie jeszcze wielokrotnie używany. Jego zaletą jest dokumentowy, JSON-owy model danych, wadą dość wysoka bariera wejścia dla nowych programistów związana z mocno skomplikowanym językiem budowania zapytań (które też zresztą … Continue reading [DajSięPoznać#2] Elasticsearch – budowa inteligentnej wyszukiwarki