Jaką jakość usług oferują sieci komórkowe na obszarach pozamiejskich
Telefonia komórkowa obecna jest w naszym życiu od 1996 roku. Przyzwyczailiśmy się do korzystania z jej możliwości i oczekujemy, że będzie dostępna wszędzie tam gdzie jesteśmy. Sprawa niedostępności usług lub ich dostępności ze słabą jakością jest od wielu lat tematem dyskusji nad sposobami ograniczenia obszarów wykluczenia cyfrowego. Konsultacje publiczne przed aukcją na rezerwację częstotliwości dla sieci 5G w paśmie 3,6GHz również poruszają ten temat. Zgodnie z założeniami UKE rozdysponowanie częstotliwości dla sieci 5G ma dać szansę operatorom na poprawienie jakości usług i poprawę ich dostępności. Ile się uda osiągnąć dowiemy się w przyszłości, a teraz możemy sprawdzić z jakiego poziomu startujemy.
W końcu marca 2023 roku Systemics-PAB Sp. z o.o. zbadał dostęp do usług sieci komórkowych i ich jakość na terenach pozamiejskich i poza głównymi szlakami drogowymi. Wielu z nas doświadczyło problemów z działaniem sieci komórkowych na takich obszarach i często w dyskusjach pojawiają się stwierdzenia, że wszystkie sieci podobnie i nie najgorzej dają radę sobie w miastach, ale jeżeli wyjedzie się gdzieś dalej to sytuacja nie jest taka dobra.
Celem badania było przedstawienie informacji o poziomie usług oferowanych przez polskich operatorów komórkowych określonych przez zdefiniowane wskaźniki jakościowe. Uzyskane wartości wskaźników mogą być dla jednych użytkowników zadawalające, a dla innych już nie. Ma to ścisły związek z indywidualnymi oczekiwaniami klientów. Nowym elementem pomiaru było wprowadzenie testu interaktywnego, którego celem jest naśladowanie ruchu telekomunikacyjnego podczas spotkań online. Test w sposób ciągły generuje taki ruch, przez to pozwala na zidentyfikowanie miejsc w gdzie usługa połączeń online nie jest dostępna.
Przedstawione wyniki są opisem sytuacji w trakcie badania i odnoszą się jedynie do obszarów, na których je prowadzono, i do czasu kiedy prowadzono kampanię pomiarową.
Wyniki badania przedstawiono w załączonym raporcie. Zainteresowanych szczegółowymi informacjami dotyczącymi badania, metodologii i wyników zapraszamy do kontaktu poprzez formularz kontaktowy https://www.syspab.eu/contact/.
Wyniki poszczególnych testów
Testy połączeń głosowych
Istnieje znacząca różnica pomiędzy wynikami Orange, Play i T-Mobile, a wynikami Plus dla wszystkich badanych wskaźników jakości połączeń głosowych. Wszyscy operatorzy oprócz Plus zapewniają połączenia VoLTE dla ponad 82% testów, dodatkowo Plus nie korzysta z Enhanced Voice Services (EVS) co obniża wartość wskaźnika jakości głosu MOS mierzonego algorytmem oceny POLQA. Ze względu na dostępność dobrego sygnału radiowego i ograniczenia zasięgowe LTE Plus ma również problemy z ilością kwalifikowanych połączeń czasem zestawiania połączeń.
Dla kwalifikowanych połączeń jakość sygnału mowy na badanych terenach jest podobna do tej oferowanej w dużych miastach. Największa różnica jest w dostępności do usług, gdzie na terenach pozamiejskich jest ona o kilka pp gorsza niż w dużych miastach.
Mapy poniżej pokazują tryby realizacji połączeń głosowych zmierzone dla operatorów na trasie wykonywanych pomiarów. CS to połączenia zestawiane w sieciach 2/3G. SRVCC to połącznia na obszarach gdzie jest LTE, ale nie można utrzymać połączenia w VoLTE. Połączenia, dla których wykorzystywano przez cały czas połącznia tryb VoLTE zaznaczono na zielono.
Testy transmisji danych
Test ciągły wydajnościowy wysyłania (UL) i odbierania (DL) danych przez 7 sekund
Na poniższych wykresach przedstawiono szybkości transmisji danych uzyskiwane podczas odbierania (DL) i wysyłania (UL) niekompresowalnego pliku o gigabitowym rozmiarze w okresie 7 sekund. Jednocześnie otwartych było kilka wątków w celu osiągnięcia maksymalnych przepływności. Wykresy przedstawiają uzyskane średnie szybkości transmisji i procent kwalifikowanych testów (test poprawnie zestawiony i zakończony bez spadku szybkości transmisji poniżej 384 kb/s).
Ogólnie można powiedzieć, że uzyskane wyniki dla testów w ciągu dnia są na zadawalającym poziomie. Liczba zakwalifikowanych testów jest na wysokim poziomie (za wyjątkiem Plus, który na obu kierunkach transmisji ma te wartości o kilka PP gorsze). Pewnym zaskoczeniem jest fakt uzyskania najlepszego wyniku przez Play, który pokazuje, że można szybko dogonić konkurencję. Zwracamy uwagę, że jednym z warunków kwalifikacji testu jest uzyskiwanie przepływności lepszych niż 384 kb/s. Jest to pewna zaszłość metodologii i próg ten będzie w przyszłości podniesiony co na pewno będzie miało wpływ na uzyskiwane wyniki.
Poniższe wykresy przedstawiają procent kwalifikowanych testów zastosowaniem progu przepływności 2Mb/s dla odbierania danych i 1Mb/s dla wysyłania danych.
Otrzymane wyniki pokazują, że dla bardziej wymagających progów przepływności procent kwalifikowanych połączeń jest niższy o 4-6pp dla ściągania danych i od 5pp do 10pp dla wysyłania danych.
Testy wysyłania (UL) i odbierania (DL) plików 5MB i 10MB
Na poniższych wykresach przedstawiono wyniki pomiarów wskaźników jakości transmisji plików uzyskiwane podczas odbierania (DL) pliku o rozmiarze 10MB i wysyłania (UL) pliku o rozmiarze 5MB. Ten test miał za zadanie pokazać jak sieci dają sobie radę z wysyłaniem załączników. W przypadku przesyłania załączników o określonej niewielkiej wielkości sieci mogą się zachowywać inaczej niż w przypadku ciągłej transmisji danych ze względu na możliwość użycia akceleratorów transmisji, kompresji danych, innego priorytetu transmisji etc. Jednym ze wskaźników jakości transmisji danych jest odsetek połączeń kwalifikowanych czyli poprawnie zestawionych i zakończonych pobraniem całego pliku z przepływnością nie mniejszą niż 384kb/s i czasem inicjacji połączenia nie gorszym niż 10s. Podobnie jak teście ciągłym wyniki Plus są słabsze niż pozostałych operatorów, którzy osiągnęli zbliżone wyniki.
Podobnie jak dla testu ciągłego przeliczono procent kwalifikowanych testów zastosowaniem progu przepływności 2Mb/s dla odbierania danych i 1Mb/s dla wysyłania danych i zebrano je na wykresach poniżej.
Dla testów transferu danych otrzymane wyniki pokazują, że dla bardziej wymagających progów przepływności procent kwalifikowanych połączeń jest niższy o 3-10pp dla ściągania danych i od 7pp do 11pp dla wysyłania danych.
Testy przeglądania stron WWW i testy streamingu wideo z platformy YouTube
Wskaźnik inicjowania przeglądanej strony WWW (pobieranie pierwszych 500kB) był niemal identyczny dla wszystkich sieci na poziomie poniżej 2 sekund. Różnicującym wskaźnikiem jest procent połączeń kwalifikowanych czyli takich gdzie udało się pobrać pierwsze 500kb/s w czasie nie dłuższym niż 5 sekund. Wartości tego wskaźnika wahały się dla operatorów od 83,1% do 93,5%.
Wyniki testów streamingu wideo podobnie jak w innych testach najbardziej różnicowały operatorów dla wskaźnika zakwalifikowanych połączeń i wahały się od 84% do prawie 95%. Wszyscy operatorzy oferują wysoką jakość obrazu opisaną wskaźnikiem Video MOS, który w tych testach oscylował w okolicy 4,25 w skali od 1 do 5 zarówno w testach dziennych, jak i wieczornych. Czas rozpoczęcia odtwarzania dla poprawnych odtworzeń (kwalifikowanych testów) dla wszystkich operatorów był podobny i wynosił ok 1.3 sekundy.
Dla kwalifikowanych testów YouTube transmisja startowała z rozdzielczością 480p i już po pierwszych adaptacjach łącza rozdzielczość transmisji osiągała 1080p i pozostawała na tym poziomie do końca testu.
Test Interaktywności
Test interaktywności generuje wzorce ruchu, które są typowe dla rzeczywistych przypadków użycia sieci. Wymiana danych w teście interaktywności oparta jest na protokole User Datagram Protocol (UDP). UDP jest głównym protokołem dla aplikacji czasu rzeczywistego, które mają wewnętrznie zaszyte mechanizmy QoS i adaptacji łącza. Jest protokołem najbardziej zbliżonym do warstwy fizycznej i pozwala uniknąć dodatkowego, niekontrolowanego ruchu przez potwierdzenia i retransmisje. Przesyłanie dużego strumienia pakietów UDP z dużą częstotliwością w symulacji rzeczywistego przypadku użycia daje bardziej realistyczny obraz opóźnienia, jittera opóźnienia i strat pakietów. Protokół warstwy wyższej dla przepływu danych pomiędzy klientem a serwerem oparty jest na TWAMP, dwukierunkowym protokole aktywnego pomiaru. Opis testu Interaktywności można znaleźć w ITU-T Recommendation G.1051.
W teście wykorzystanym w badaniu zastosowano profil ruchu odpowiadający korzystaniu przez użytkownika z wideo konferencji. Celem testu było poznanie możliwości sieci do zapewniania ciągłości tego typu usługi na badanym terenie. Główne zmierzone wskaźniki to pokazane poniżej procent połączeń kwalifikowanych, opóźnienie dwukierunkowe transmisji i stopa błędów (utraconych pakietów danych).
Wyniki uzyskane przez operatorów są podobne jak dostępność usług badana w innych testach. Wszyscy operatorzy, a szczególnie Orange raportują duże opóźnienia transmisji. Zmienność tych opóźnień wynosi ok. 31ms dla wszystkich operatorów. Stworzona na bazie wyników ocena inteactivity score przedstawiona na poniższym wykresie z prawej strony przyznaje operatorom wyniki od 51,9% do 60,3%. Są to raczej niskie oceny, które nie gwarantują poprawnego świadczenia usługi w sieci.
Porównanie zasięgów LTE i 5G
Na mapach przedstawionych w tym rozdziale zawarto informację o poziomie zasięgu w poszczególnych miejscach na trasie badania. Informacja została przygotowana dla danych pomiarowych ze skanera częstotliwości radiowych. Jako poziom sygnału przyjęto najwyższy poziom sygnału zmierzony dla dostępnych pasm częstotliwości wykorzystywanych w danej sieci. Punktom na mapach przypisano kolory zgodnie przypisanymi przedziałami wartości sygnału dla różnych typów pokrycia jak to przedstawiono w tabelach. W przypadku sieci LTE najszerszy zasięg oferuje T-Mobile, a dla sieci 5G najszerszą dostępność ma Play.
2023 03 Raport z pomiarow jakosci sieci poza miastami (7,7 MB)
