Source: http://zanotowane.pl/216/7155/
Timestamp: 2020-08-11 00:39:37
Legal References Found: art. 52
 art. 181
 art. 1
 art. 178
 art. 31
 art. 39
 art. 13
 art. 29
 art. 31

Document Content:
r20 05 2816 29
Planowanie rozmieszczenia serwerów
Ustalenie usług potrzebnych w sieci
Planowanie nadmiarowości i równoważenia obciążenia
Dwa poprzednie rozdziały zajmowały się budowaniem sieci — nie fizyczną instalacją okablowania, lecz zagadnieniami adresowania i trasowania TCP/IP, które umożliwiają komunikację. W niniejszym rozdziale zwrócimy uwagę na serwery, których klienty będą używać w sieci.
Omówimy trzy typy serwerów, jakie można znaleźć w sieciach, oraz zagadnienia wydajności dla każdego typu. Ponadto przyjrzymy się różnym metodom równoważenia obciążenia i uzyskiwania nadmiarowości. Lecz na początek zobaczmy, jak ustalić listę usług potrzebnych w naszej sieci.
W najprostszej formie sieć jest środkiem, za pomocą którego użytkownicy korzystają z dostępu do wspólnych zasobów. Zasobem takim może być, na przykład, udostępniona drukarka lub serwer plików. Krótko mówiąc, program kliencki zgłasza żądania pod adresem innego procesu, który jest uruchomiony w innym systemie. Można powiedzieć, że sieć pozwala dzielić pracę dwóm procesom w dwóch różnych komputerach.
Gdy będziemy przyglądać się różnym serwerom, które mogą być potrzebne w sieci, Czytelnik powinien pamiętać, po co mają one zostać w sieci zainstalowane. Serwery udostępniają użytkownikom usługi, wobec tego powinniśmy skoncentrować się na serwerach, z których użytkownicy będą korzystać. Większości użytkowników wystarcza po prostu możliwość napisania listu, wydrukowania go i skorzystania z poczty elektronicznej. Inaczej mówiąc, jeśli chcemy usatysfakcjonować społeczność użytkowników, koncentrowanie się na serwerze potokowej transmisji danych, który umożliwi emisję prezentacji wideo w sieci, nie jest przypuszczalnie najlepszą strategią.
Wobec tego musimy realistycznie ustalić typy serwerów, jakie będą potrzebne w sieci, aby zaspokoić potrzeby użytkowników. Do typowych potrzeb użytkowników sieci, oprócz najbardziej podstawowych — drukowania i korzystania z poczty elektronicznej, należy zdolność otrzymania adresu IP przez komputer i rozwiązywania nazw (DNS lub NetBIOS) na adresy IP. Zapewniając, by usługi niezbędne dla użytkowników i sieci były zawsze dostępne, zmniejszymy liczbę reklamacji i próśb o pomoc techniczną ze strony użytkowników.
Dysponując podstawową łącznością, użytkownicy mogą zidentyfikować się w sieciowym serwerze uwierzytelniania, a następnie łączyć z serwerami oferującym faktyczne usługi. Serwery, które udostępniają użytkownikom usługi dzielą się na dwie główne kategorie: serwery plików (tu zaliczane są również serwery drukowania) oraz serwery aplikacji. Oznacza to, że tak naprawdę istnieją trzy typy serwerów:
Serwery infrastruktury sieciowej — do tej grupy należą serwery DHCP, BOOTP, DNS, WINS, NIS, NDS i kontrolery domen.
Serwery plików i drukowania — definicja tej grupy jest oczywista — serwery plików i serwery drukarek.
Serwery aplikacji — do tej grupy mogą należeć serwery baz danych, serwery pocztowe, serwery pracy grupowej i tak dalej.
Dobór serwerów w sieci zależy przede wszystkim od dwóch czynników: typu posiadanych klienckich systemów operacyjnych i wymagań użytkowników. Ogólnie mówiąc, w praktycznie każdej sieci potrzebne są pewne podstawowe usługi, obejmujące:
DHCP — Dynamic Host Configuration Protocol (protokół dynamicznej konfiguracji hosta) służy do przydzielania adresów IP i różnych szczegółów konfiguracji, w zależności od systemu operacyjnego klienta. Ogólnie mówiąc, każdy klient musi otrzymać przynajmniej adres IP, a większość wymaga maski podsieci, adresu serwera DNS i adresu bramy lub rutera. Zapewnia to podstawową łączność, potrzebną wszystkim systemom, i oszczędza administratorom pracy związanej z indywidualnym konfigurowaniem wszystkich klientów.
DNS — Domain Name System (system nazw domen) zapewnia odwzorowanie nazw pełnych złożonych (FQDN) hostów na adresy IP. Oznacza to, że klienty mogą łatwo znajdować serwery na podstawie prostych do rozpoznania nazw, niezależnie od położenia.
WINS — usługa Windows Internet Name Service jest potrzebna, by rozwiązywać nazwy NetBIOS na adresy IP.
Wprawdzie można sobie wyobrazić sieć nie zawierającą klientów NetBIOS, lecz są to rzadkie przypadki. Jeśli nie posiadamy serwerów NetBIOS, serwer WINS jest niepotrzebny.
Serwery plików i drukowania — niezależnie od używanego sieciowego systemu operacyjnego, użytkownicy zwykle chcą udostępniać sobie nawzajem pliki, a przynajmniej pobierać potrzebne pliki z serwera. Wobec tego serwer plików jest niezbędny.
Poczta — zdolność do wysyłania i odbierania poczty stała się absolutnie niezbędna w środowiskach biurowych. Pracownicy oczekują, iż otrzymają możliwość wymiany listów elektronicznych z pracownikami innych biur i przedsiębiorstw. Wobec tego utworzenie wydajnego systemu poczty elektronicznej jest istotne.
Powyższe usługi stanowią podstawowy poziom wsparcia funkcjonowania udanej sieci. Musimy szukać sposobów, by te usługi poradziły sobie z obciążeniem powodowanym przez użytkowników. Wymaga to dobrego zrozumienia każdej usługi, w tym używanych przez nią protokołów oraz poznania objętości ruchu sieciowego, jaki generują te protokoły.
Przyjrzyjmy się teraz usługom, których potrzebuje sama sieć.
Instalowanie usług w sieci
Na początek analizy usług wymaganych w funkcjonalnej sieci, spójrzmy na przykład podstawowej sieci. Rysunek 20.1 przedstawia prostą sieć z dziewięcioma podsieciami klienckimi i jedną szkieletową. W tym przypadku możemy założyć, iż sieć obsługuje typowe małe biuro i około 450 użytkowników. Oznacza to przeciętnie 50 klientów w każdej podsieci.
Rysunek 20.1.
Przykładowa sieć potrzebująca serwerów
Zaczniemy od zapotrzebowania na usługę DHCP. Jak Czytelnik zapewne pamięta, DHCP jest prostym protokołem, który zużywa bardzo niewiele przepustowości sieci. Ponadto do uruchomienia tej usługi potrzeba bardzo niewiele zasobów, więc serwer nie musi być zbyt duży. W naszym przypadku wymagany jest tylko jeden serwer DHCP, ponieważ pojedynczy serwer DHCP jest w stanie obsłużyć 450 klientów. Musimy jednak uwzględnić fakt, że DHCP używa adresu rozgłoszeniowego; w przeciwnym razie klienty nie byłyby w stanie uzyskać adresu od DHCP, ponieważ sieć zawiera rutery, a te domyślnie nie przekazują ruchu rozgłoszeniowego.
Dostępne są dwie metody pozwalające skorzystać z usługi DHCP w takim środowisku z ruterami. Pierwsza polega na użyciu agentów przekazujących DHCP jako pośredników pomiędzy klientami i serwerem DHCP. Ponieważ agent przekazujący potrafi skierować rozgłoszenie do serwera DHCP, ten możemy bez problemów umieścić w innej podsieci. Metoda druga (prostsza) polega na załączeniu przekazywania BOOTP w ruterach, co pozwoli ruterom przesyłać żądania do serwera DHCP w innej podsieci.
W naszym przypadku załączymy przekazywanie BOOTP w ruterach i umieścimy pojedynczy serwer DHCP w sieci szkieletowej, jak na rysunku 20.2. Standardowo funkcję przekazywania BOOTP musimy w ruterach załączyć. Domyślnie jest ona wyłączona, ponieważ przekazywanie BOOTP zwiększa liczbę pakietów, z którymi ruter musi sobie poradzić oraz może doprowadzić do zatorów w ruterze.
Rysunek 20.2.
Przykładowa sieć z dodanym
serwerem DHCP
Teraz wszystkie klienty będą mogły zażądać od DHCP adresu, zaś rutery będą przekazywać te żądania do szkieletu, gdzie serwer DHCP będzie w stanie je obsłużyć (pod warunkiem, że posiada zakres odpowiedni dla klienta).
To był prosty przykład. Jednak podczas projektowania sieci musimy przyjrzeć się wszelkim scenariuszom typu „co by było, gdyby…”. Oznacza to pytania typu: Co by się stało w razie awarii serwera? A w wypadku awarii rutera? A gdyby dodać kolejną podsieć lokalnie lub zdalnie? Wprawdzie rozwiązanie z rysunku 20.2 jest funkcjonalne, lecz weźmy pod uwagę bardziej złożoną sieć z rysunku 20.3, w której dodano zdalną lokalizację.
Na rysunku 20.3 serwer DHCP nie jest w stanie udostępnić adresów dla dwóch zdalnych podsieci, ponieważ ich rutery nie przekazują pakietów BOOTP. Nawet gdyby to czyniły, musimy zastanowić się, czy chcemy przesyłać pakiety tam i z powrotem przez łącze komunikacyjne, co zwiększyłoby w nim ruch i zwolniło cały proces. Te czynniki wskazują na potrzebę zainstalowania drugiego serwera DHCP po zdalnej stronie połączenia, obsługującego klienty po tamtej stronie. Gdyby jednak pomyśleć o opisanych przed chwilą scenariuszach, zobaczymy, że w razie awarii jednego z pięciu ruterów część klientów nie byłaby w stanie w ogóle uzyskać adresu IP.
Rysunek 20.3.
Przykładowa sieć o większej złożoności
Jak widać, samo umieszczenie usługi w sieci nie wystarczy, by zapewnić jej stałą dostępność, niezależnie od dowolnego punktu awarii. Jeśli chcemy uodpornić sieć na pojedyncze punkty awarii, musimy zaplanować nadmiarowość usług sieciowych. Skala trudności tego zadania rośnie z liczbą potrzebnych nam usług.
Na rysunku 20.3 trzeba dodać drugi serwer w zdalnej sieci, aby obsługiwał DHCP. Musimy dodać także dodatkowe serwery sieciowe, na przykład DNS, WINS i uwierzytelniające serwery sieciowe.
Najprostsza sieć zawiera serwery DHCP, DNS, plików i drukowania. Aby zapewnić nadmiarowość dla tych usług, potrzebnych byłoby sześć serwerów: dwa DHCP, dwa DNS i dwa plików i drukowania. Dodając kolejne sieci zdalne, jak na rysunku 20.3, musimy dodać trzy kolejne serwery, udostępniające te podstawowe usługi w sieci zdalnej.
Dodawanie serwera dla każdej kolejnej usługi w sieci jest kosztowne, w coraz większym stopniu utrudnia zarządzanie i zwiększa ruch sieciowy tła w sieci. Aby zmniejszyć liczbę serwerów w sieci, które wymagają zarządzania i generują ruch sieciowy tła, możemy połączyć kilka usług w jednym systemie. W rzeczywistych warunkach jest to normalne postępowanie i w praktyce możemy obsłużyć całą sieć przez pojedynczy serwer, jeśli tylko sieć jest wystarczająco mała. Jedynym problemem jest tu umieszczenie wszystkich usług razem. Inaczej mówiąc, gdy ten pojedynczy serwer zawiedzie, wszystkie uruchomione w nim usługi przestaną być dostępne.
Decydując o tym, jakie usługi połączyć w jednym systemie, musimy wziąć pod uwagę, jakich zasobów wymaga każda z usług. Dla każdej usługi system potrzebuje czterech podstawowych zasobów:
Procesor — usługi typu DHCP, DNS, WINS i podobne usługi zarządzające krótkimi listami nie wymagają zbyt dużej mocy obliczeniowej. Usługi obsługujące duże listy (bazy danych), jak np. serwery Oracle i MS SQL, wymagają sporej mocy procesorów.
Pamięć — większa ilość pamięci w każdym przypadku pomoże serwerowi. Często nie zauważa się faktu, iż CPU nie komunikuje się z dyskiem, klawiaturą lub z czymkolwiek innym — tylko z pamięcią. Dla systemu przeniesienie danych w pamięci, na przykład z listy adresów do bufora, w którym budowany jest pakiet odpowiadający na zapytanie DNS, jest czynnością szybką i prostą.
Proszę pamiętać, że elektrony w przewodach poruszają się z prędkością porównywalną z prędkością światła, natomiast głowica zapisu-odczytu dysku twardego nie mogłaby poruszać się równie szybko bez złamania praw fizyki. W teorii, gdyby głowica spróbowała zrobić coś takiego, jej masa wzrosłaby do masy planety, powodując kolaps grawitacyjny i powstanie czarnej dziury w systemie. Wniosek: aby zwiększyć wydajność, potrzebujemy dodatkowej pamięci — a zwiększenie pamięci wirtualnej (pliku wymiany na dysku) to nie to samo, co dokupienie RAM-u.
Dysk — wydajność podsystemu dyskowego jest w niektórych przypadkach bardzo ważna — zwłaszcza w serwerach baz danych, na przykład Oracle lub MS SQL, które mogą posiadać terabajty danych. Dla serwerów typu DNS, WINS lub DHCP objętość danych jest tak mała, że przestrzeń dyskowa nie jest czynnikiem krytycznym.
Sieć — zadaniem sieci jest przesyłanie danych, wobec tego zdolność do przenoszenia danych pomiędzy serwerem i siecią jest bardzo ważna. Musimy zastosować dobrą kartę sieciową, ponieważ to za jej pomocą serwer będzie włączony do sieci. Jeśli przyłączymy serwer do koncentratora o przepustowości 10 Mb/s, to będzie musiał rywalizować o pasmo z wszystkimi innymi urządzeniami przyłączonymi do tego koncentratora. Natomiast, jeśli przyłączymy serwer do przełącznika 100 Mb/s, wówczas nie będzie miał praktycznie z czym rywalizować. Wobec tego połączenie, typ użytej karty i liczba kart sieciowych w systemie wpływają na zdolność do przesyłania danych, a co za tym idzie, na wydajność serwera.
Podczas łączenia usług w serwerze należy wyszukiwać takie, które nie rywalizują ze sobą o zasoby. W większości przypadków możemy łatwo połączyć DNS, DHCP, WINS i uwierzytelnianie sieciowe. W niektórych przypadkach połączenie usług jest posunięciem bardzo opłacalnym. Na przykład, usługa DDNS (dynamiczny DNS) współpracuje z serwerem DHCP, rejestrując pary nazwa-adres IP, jeśli więc zainstalujemy obie usługi w jednym systemie, ich współpraca nie będzie generować żadnego ruchu w sieci. W systemach Microsoftu można skonfigurować DNS tak, by nie znalezione adresy sprawdzał w usłudze WINS, więc połączenie tych dwóch usług też jest sensowne.
Po podjęciu decyzji, jakie usługi połączyć, musimy po prostu ustalić charakterystyki obciążenia systemu, który będzie je obsługiwać. W tym celu możemy korzystać z różnych narzędzi, zależnie od używanej platformy. Generalnie jednak powinniśmy przyjrzeć się omówionym poprzednio czterem kluczowym zasobom systemu, najpierw dla jednego klienta, następnie dla coraz większych grup klientów. W pewnym momencie jeden z zasobów osiągnie swój limit.
Proszę pamiętać, że liczba jednoczesnych użytkowników może przekroczyć maksimum, z którym mógłby poradzić sobie system. Ponieważ bardzo rzadko (lub nigdy) wszyscy użytkownicy będą połączeni z serwerem jednocześnie, możemy do pewnego stopnia nadmiarowo wykorzystać serwery. Przy planowaniu maksymalnej liczy użytkowników należy zwracać uwagę na wzory wykorzystania serwera — a przynajmniej pamiętać o nich. Weźmy na przykład serwer plików i drukowania: jest bardzo mało prawdopodobne, iż wszyscy użytkownicy będą równocześnie zapisywać w nim plik przez sieć.
Spójrzmy na przykład na serwer DHCP. W danej sieci klienty zwykle pozostają w jednym miejscu, więc przedłużyliśmy okres dzierżawy do ośmiu dni. Jak Czytelnik pamięta z opisu DHCP w rozdziale 9., ustawienie okresu dzierżawy na osiem dni oznacza, iż klienty muszą odnawiać dzierżawy co cztery dni. Następnie musimy przyjrzeć się serwerowi i ustalić liczbę równoczesnych połączeń, które jest w stanie obsłużyć. Załóżmy, że serwery, które chcemy wykorzystać są zdolne do równoczesnej obsługi 6000 żądań klientów.
Aby oszacować liczbę klientów DHCP, jaką serwer DHCP jest w stanie obsłużyć, musimy ustalić ile czasu zajmie serwerowi DHCP obsługa żądania odnowienia dzierżawy (wybraliśmy proces odnowienia dzierżawy, ponieważ jest najczęściej używany). Odnowienie dzierżawy DHCP wymaga odbioru pakietu, kontroli dzierżawy, obliczenia nowej daty wygaśnięcia dzierżawy i odesłania pakietu do klienta. Do ustalenia dokładnego czasu mogą posłużyć analizatory pakietów sieciowych lub monitor wydajności systemu. W praktyce jednak ten proces nie powinien zająć więcej niż jedną sekundę. Wobec tego, na potrzeby przykładu założymy taką wartość.
Mamy już wszystkie dane, więc musimy połączyć je w celu ustalenia maksymalnej liczby klientów, jaką może obsłużyć jeden serwer DHCP. Wzór wygląda tak:
procesy/h = 3600 sekund / czas wykonania procesu
klienty/h = procesy/h * liczba równoczesnych żądań
suma klientów = okres odnawiania [h] * klienty/h
Jeśli liczby z naszego przykładu wstawimy do równania, otrzymamy:
procesy/h = 3600/1
klienty/h = 3600 * 6000
suma klientów = 96 * 21 600 000
Maksymalna liczba klientów, jaką może obsłużyć serwer DHCP w naszym przypadku wynosi 2 073 600 000. Oczywiście w rzeczywistych warunkach nigdy nie dojdziemy do takiej wartości. Jeśli jednak zakładaną liczbę klientów używających serwera DHCP podzielimy przez powyższy wynik, otrzymamy w przybliżeniu odsetek zasobów systemu, jakiego usługa (w tym przypadku DHCP) będzie używać. Szacując przybliżony odsetek dla każdej usługi, będziemy mogli ocenić, jak obciążony będzie serwer.
Na rysunku 20.4 do przykładowej sieci zostały dodane wszystkie podstawowe usługi sieciowe: DHCP, DNS, WINS i uwierzytelnianie. Na tym etapie awaria rutera lub jednego z systemów usług sieciowych spowoduje, iż część użytkowników sieci nie będzie mogła skorzystać z tych usług. Co więcej, gdyby nastąpiła awaria zasilania, a wszystkie klienty podczas uruchamiania pobierały adres z DHCP, rejestrowały się w usługach WINS i DDNS, a następnie uwierzytelniały w serwerze, serwery te mogłyby zostać przeciążone po przywróceniu zasilania. Inaczej mówiąc, gdy mamy już w sieci wszystkie podstawowe usługi, pora zacząć planować równoważenie obciążenia i nadmiarowość.
Rysunek 20.4.
Przykładowa sieć z zainstalowanymi wystarczającymi usługami
Planowanie równoważenia obciążenia i nadmiarowości
Wprawdzie są to dwa odrębne zagadnienia, lecz zwykle planowane wspólnie — zazwyczaj osiągnięcie jednego równocześnie zapewnia drugie. Równoważenie obciążenia jest procesem podziału obciążenia ze strony klientów na więcej serwerów, tak by wydajność widziana przez każdego klienta była mniej więcej taka sama. Nadmiarowość zapewnia dostępność usługi niezależnie od awarii urządzenia lub segmentu sieci.
Na przykład, jednym z najprostszych sposobów zapewnienia nadmiarowości jest dodanie drugiego systemu, udostępniającego tę samą usługę, dla której chcemy uzyskać nadmiarowość. Ponieważ możemy sprawić, by połowa klientów korzystała z jednego serwera, a reszta z drugiego, dodatkowo zaimplementujemy równoważenie obciążenia.
W celu otrzymania nadmiarowości i (lub) równoważenia obciążenia możemy zrobić cztery rzeczy:
dodać więcej systemów,
dodać więcej kart sieciowych do jednego komputera, czyniąc z niego system wieloadresowy,
utworzyć hierarchię serwerów,
zastosować grupowanie (klastry) serwerów.
W następnych punktach przyjrzymy się dokładniej tym metodom.
Dodawanie kolejnych systemów
Plan minimum zakłada, że każda usługa potrzebna w sieci musi być uruchomiona w przynajmniej dwóch różnych komputerach. Dyktuje to po prostu zdrowy rozsądek — gdyby sieć polegała całkowicie na usłudze, a ta by zawiodła, wówczas sieć również przestanie działać, a telefony zaczną się urywać. Dodanie kolejnych systemów jest korzystne i zwykle zapewnia wymaganą nadmiarowość. Jednakże dodanie następnego systemu wymaga również zapewnienia metody synchronizacji nowego serwera z pozostałymi.
Załóżmy na chwilę, iż posiadamy serwer pocztowy o nazwie Mercury i adresie IP 10.10.1.58. Decydujemy się przenieść go o jedną podsieć bliżej użytkowników i otrzymuje adres IP 10.10.52.100. W sieci znajdują się dwa serwery DNS, a zmieniliśmy adres IP tylko w głównym serwerze DNS. Wszystkie klienty znajdują teraz nowe położenie serwera i są w stanie wysłać pocztę. Ale co się stanie, gdy podstawowy serwer DNS będzie niedostępny? Brak poczty = niezadowoleni użytkownicy.
Tej sytuacji można uniknąć przez skonfigurowanie transferów stref. Jak pamiętamy z opisu usługi DNS w rozdziale 10., możemy tak skonfigurować tę usługę, by pliki stref były przesyłane okresowo do serwera wtórnego działającego w innym systemie. Proszę jednak pamiętać, że takie rozwiązanie zwiększa ruch w sieci. To samo dotyczy większości usług, ponieważ wszystkie muszą być od czasu do czasu aktualizowane.
Jednakże w przypadku DNS-u możemy kontrolować odstępy czasu pomiędzy transferami strefy. Jeśli spodziewamy się częstych zmian, ustawimy krótszy okres. Jeśli zmiany zachodzą tylko okazjonalnie, okres pomiędzy transferami może być dłuższy. Jeśli jednak transfery zachodzą tylko co 24 godziny, to po przeniesieniu serwera Mercury pod inny adres IP mogą upłynąć nawet 24 godziny, zanim zmiana dotrze do serwera wtórnego. Ponadto cała strefa może wymagać przesyłu, co dodatkowo zwolni proces.
Jak Czytelnik zapewne się zorientował, transfer strefy DNS nastąpi prawdopodobnie wcześniej niż za 24 godziny: wzięliśmy pod uwagę najgorszy scenariusz założony przy tworzeniu usługi DNS. Większość używanych obecnie usług DNS pozwala na przyrostowe transfery stref, dzięki którym przesyłanie całego pliku strefy nie jest konieczne. Możemy też ustawić bardzo długi okres pomiędzy transferami, lecz skonfigurować powiadamianie, aby zmiany były propagowane natychmiast. Widać z tego, jak używane przez nas protokoły dostosowują się do rosnących rozmiarów sieci. Większość sieciowych usług uwierzytelniania oraz WINS stosuje taką samą logikę. Oznacza to, iż te usługi usiłują zredukować ruch sieciowy tła.
Jednakże usługi typu DHCP nie są równie dobrze skonfigurowane. Ich konstrukcja nie zakłada nawet obecności innych, zapasowych serwerów w sieci, wobec czego trudniej jest dodać do sieci kolejny serwer DHCP. Proszę pamiętać, że DHCP służy do dzierżawienia adresów ograniczonych do określonej podsieci z puli (zakresu) adresów IP z tej podsieci. Gdybyśmy chcieli zapewnić nadmiarowość, inne serwery DHCP również musiałyby posiadać zakres adresów i informacje o tym, które adresy zostały wydzierżawione lub zaoferowane do wydzierżawienia, a które nie.
Nawet gdyby taki protokół aktualizacji istniał, nadal możliwe byłoby zaoferowanie przez dwa serwery DHCP tego samego adresu w mniej więcej tym samym czasie. Wymagałoby to protokołu rozwiązującego konflikty, aby jeden klient mógł wydzierżawić adres, a drugi odmówić. Wyobraźmy sobie skalę zamieszania spowodowanego w większości biur w chwili, gdy użytkownicy załączają komputery i wszyscy potwierdzają adresy!
Wobec tego serwery DHCP po prostu nie „rozmawiają” ze sobą. Aby więc dodać zapasowy system DHCP, musielibyśmy utworzyć dwa zakresy (lub więcej w przypadku większej liczby serwerów) i przydzielić po jednym zakresie do każdego serwera. Gdyby zakresy te nakładały się, wówczas pojawiłyby się konflikty adresów IP; wobec tego planowanie zakresów i zapewnienie synchronizacji zakresów i opcji serwera jest bardzo ważne.
Dla usług WINS, DNS i uwierzytelniania sieciowego dodawanie kolejnych serwerów powinno być proste, lecz dla DHCP nie jest. Dla większości innych typów serwerów dostępna są różne metody, których skonfigurowanie pozwoli na koordynację danych. Czytelnik musi wiedzieć, w jaki sposób funkcjonują serwery w sieci, aby skutecznie planować nadmiarowość.
Wracając do rysunku 20.4, możemy zobaczyć, że dodanie jednego serwera jeszcze nie zapewni nadmiarowości. W tym przypadku musimy dodać jeszcze przynajmniej dwa serwery — po jednym w każdej sieci szkieletowej — aby otrzymać przynajmniej podstawowy poziom nadmiarowości. Dopiero to zapobiegnie zapaści sieci w przypadku awarii pojedynczego serwera lub choćby jego składnika.
Jednakże nawet wtedy, gdy serwery są nadmiarowe, awaria rutera zawsze wpłynie na jakąś część sieci — albo na trzy podsieci klienckie, albo na połączenie pomiędzy dwiema lokalizacjami. Proszę pamiętać, że ruter też jest usługą sieciową, którą trzeba wziąć pod uwagę podczas planowania nadmiarowości. Oznacza to, że musimy zapewnić zapasowy ruter dla każdego połączenia jednej podsieci z inną, jeśli chcemy uodpornić sieć na wszelkie pojedyncze punkty awarii. W tym przypadku musimy podwoić liczbę ruterów lub zastosować rutery z wbudowaną nadmiarowością.
Systemy wieloadresowe
Podczas planowania równoważenia obciążenia jednym z rozwiązań, które możemy wziąć pod uwagę, jest wieloadresowość (multihoming), która wymaga użycia więcej niż jednej karty sieciowej w serwerze, aby użytkownicy mogli korzystać z systemu lokalnie, a nie przez ruter. Wieloadresowość jest prostym rozwiązaniem równoważącym obciążenie — i zwiększającym wydajność. Wprawdzie ilość pamięci i szybkość procesora oraz dysków ma znaczenie, lecz nadal wąskim gardłem jest karta sieciowa. Wszystkie żądania klientów i wszystkie informacje dostarczane im przez serwer muszą przejść przez ten jeden interfejs.
Problemem może być nie karta sieciowa, lecz wysokie obciążenie danego segmentu. W takim przypadku podłączenie dwóch kart sieciowych w jednym systemie do tego samego segmentu może nie sprawić zbytniej różnicy, zwłaszcza w przypadku dostępnego obecnie sprzętu sieciowego. Lecz spójrzmy na rysunek 20.5.
Rysunek 20.5.
Przykład systemu wieloadresowego
Czytelnik może pomyśleć, że na rysunku jest przedstawiony ruter. W rzeczywistości jest to system wieloadresowy. W rozdziale 19. mówiliśmy, że ruter jest wieloadresowym systemem, posiadającym przynajmniej jeden protokół IP. Nic nie przeszkodzi nam w zamontowaniu kilku kart sieciowych w dowolnym systemie. Gdy dodamy więcej kart sieciowych do serwera, będziemy mogli podłączyć go bezpośrednio do podsieci zawierającej użytkowników.
W istocie nic nie przeszkadza w wykorzystaniu do roli rutera komputera działającego pod systemem Windows lub Unix. Wiele organizacji używa wewnętrznie komputerów wieloadresowych jako ruterów, ponieważ rozwiązanie takie jest często tańsze od kupowania wyspecjalizowanych ruterów sprzętowych. W najgorszym przypadku wieloadresowy komputer może nam posłużyć jako ruter zapasowy.
Prawdę mówiąc, wieloadresowość możemy zastosować w większości serwerów, w tym w serwerach aplikacji; w ich przypadku technika ta pozwoli znacząco zwiększyć liczbę klientów, którą serwer będzie w stanie równocześnie obsłużyć. Na przykład, rysunek 20.6 przedstawia dwa serwery SQL replikujące pomiędzy sobą dane przez sieć prywatną, jednocześnie obsługujące klienty poprzez sieć główną. Takie rozwiązanie przenosi ruch replikacji z głównej sieci szkieletowej do prywatnego szkieletu SQL.
Rysunek 20.6.
Serwery mogą
do komunikacji pomiędzy sobą używać prywatnej sieci szkieletowej
Ponieważ serwery SQL mogą aktualizować wzajemnie swoje dane poprzez częste replikacje, zmiany mogą być niemal natychmiastowe (jeśli nie natychmiastowe), dzięki takim narzędziom SQL, jak replikacje i potwierdzanie dwuetapowe. Wobec tego klienty mogą używać dowolnego z serwerów SQL, ponieważ są bliźniacze. Połowa klientów może być skonfigurowana do korzystania z jednego serwera SQL, a reszta klientów — z drugiego. W razie niedostępności jednego serwera, drugi może przejąć jego zadania (ponieważ ma w pełni aktualne dane). Taka konfiguracja zapewnia równoważenie obciążenia oraz pewną nadmiarowość.
Odrębny szkielet, jak pomiędzy serwerami z rysunku 20.6, może być wydajnie wykorzystany z dowolną usługą, która replikuje swoje dane do innego serwera. Wadą tego rozwiązania jest większa liczba sieci, które trzeba nadzorować, jednakże sieci zawierające tylko kilka systemów są zwykle stabilniejsze od sieci z wieloma klientami.
Na rysunku 20.7 podstawowa struktura z rysunku 20.6 została rozbudowana o wiele dodatkowych klientów i proporcjonalną liczbę dodatkowych serwerów. Ponieważ liczba systemów w drugiej sieci szkieletowej jest ograniczona, ruch sieciowy, o który serwery muszą w niej rywalizować jest mniejszy, nawet przy radykalnym wzroście liczby klientów. Kolejną korzyścią ze stosowania odrębnego szkieletu jest możliwość używania w nim własnego protokołu serwerów. Na przykład, gdyby serwery SQL z przykładu były produktami Microsoftu, wówczas ich prywatna sieć szkieletowa mogłaby obsługiwać NetBEUI — protokół szybszy w przypadku sieci jednosegmentowej.
Wieloadresowość i wykorzystanie odrębnej sieci szkieletowej jest rozwiązaniem dobrze skalowalnym w przypadku usług typu serwer SQL, które mogą dokonywać replikacji i rozkładać zapytania na serwery. Nie nadaje się to jednak dla takich usług, jak np. DNS lub serwer proxy. W tych przypadkach zmiany dokonywane są przez użytkowników w serwerze centralnym, a następnie rozprowadzane do innych serwerów. Nadal jednak można używać hierarchicznych serwerów do redukcji ogólnego ruchu w sieci.
Serwery hierarchiczne
W przypadku serwerów SQL, na rysunkach 20.6 i 20.7, używana była odrębna sieć szkieletowa, aby polepszyć komunikację pomiędzy serwerami równorzędnymi. Jednakże w przypadku usługi DNS serwery nie są równorzędne — istnieje jeden serwer pod-
Rysunek 20.7.
Wraz ze wzrostem rozmiarów sieci, liczba hostów w prywatnej sieci szkieletowej rośnie znacznie wolniej
niż w klienckiej
stawowy DNS. Musimy więc znaleźć inne rozwiązanie, aby zredukować ogólny ruch w sieci. Weźmy pod uwagę rysunek 20.8, który przedstawia dwa serwery DNS dla całej sieci. Taka konfiguracja bardzo ułatwia transfery stref; jednakże wszystkie zapytania klientów muszą przejść przez dwa rutery, aby dotrzeć do serwera DNS. Nie tylko zwiększa to opóźnienia w rozwiązywaniu nazw, lecz również objętość ruchu sieciowego, który wychodzi z lokalnego segmentu.
Rysunek 20.8.
Podstawowa konfiguracja DNS-u z serwerem podstawowym i wtórnym
Rysunek 20.9 pokazuje, jak możemy dodać kolejne serwery wtórne w sieci, aby zmniejszyć obciążenie dwóch głównych serwerów i zredukować liczbę segmentów sieci, przez które musi przejść zapytanie. Możemy dodać usługę DNS w pierwszym poziomie ruterów, które będą wtórnymi serwerami DNS względem głównego. Zredukuje to do minimum pochodzący od klientów ruch sieciowy, związany z rozwiązywaniem nazw.
Wadą rozwiązania z rysunku 20.9 jest konieczność replikacji wszystkich zmian, dokonanych w DNS-ie, do dużej liczby serwerów DNS. W tej sieci będzie przypuszczalnie spora liczba serwerów, co oznacza, że aktualizacje będą krytyczne. Połączenie dużej liczby serwerów wymagających odbioru aktualizacji z ważnością aktualizacji oznacza, że okresy pomiędzy transferami stref muszą być krótkie, co być może spowoduje niemożliwy do zaakceptowania poziom ruchu sieciowego.
Rysunek 20.9.
Dodanie serwerów wtórnych bliżej klientów zmniejszy ruch sieciowy związany
z rozwiązywaniem nazw
W tym przypadku możemy też skonfigurować serwery DNS niższego poziomu jako tylko buforujące, czyli nie przechowujące kopii pliku strefy. W celu zapewnienia możliwości rozwiązywania nazw powinny one być tak skonfigurowane, by przesyłały żądania dotyczące nieznanych im nazw do serwerów podstawowego i wtórnego na najwyższym poziomie. Serwery buforujące odpytują główny serwer DNS o rozwiązywanie nazw, a następnie zapisują lokalnie wyniki w pamięci podręcznej na określony czas, bez konieczności transferu całej strefy. Zmniejsza to liczbę serwerów, którymi musimy zarządzać. Taka konfiguracja sprawdza się bardzo dobrze przy założeniu, iż użytkownicy korzystający z określonego serwera DNS wykonują w pracy te same podstawowe zadania. W takim przypadku te same nazwy serwerów byłyby rozwiązywane raz za razem, zazwyczaj z lokalnej pamięci podręcznej. Zastosowanie w tym przypadku serwerów buforujących jest dobrym rozwiązaniem, zwłaszcza jeśli czas życia (TTL) rekordów DNS jest wystarczająco długi.
Jeśli na potrzeby powyższego rozwiązania ustawimy wysokie wartości TTL, musimy pamiętać, by zmniejszyć TTL przed modyfikacją wpisów w DNS-ie. Na przykład, jeśli zamierzamy przenieść serwer pocztowy, a obecny TTL dla rekordów wynosi 8 godzin, możemy na około 8 godzin przed przenosinami zmniejszyć TTL do 15 minut. W niektórych systemach można ustawiać TTL indywidualnie dla rekordów, co umożliwia modyfikację tego parametru dla jednego serwera.
Jeśli zamierzamy zastosować lokalny serwer buforujący skonfigurowany tak, by przesyłał żądania „w górę” do głównego serwera DNS, możemy też rozważyć wykorzystanie serwera podporządkowanego (slave). Zapobiegnie to próbom przekazywania przez serwer DNS zapytań o nazwy do Internetu lub skonfigurowanych dla danego serwera serwerów poziomu głównego. Możemy również skonfigurować dla lokalnych serwerów DNS ich serwer podstawowy jako strefę główną.
Niezależnie od decyzji, jak skonfigurować lokalne serwery (jako buforujące lub wtórne), możemy uzyskać nadmiarowość, dodając po prostu w klientach (za pomocą DHCP) wpis drugiego serwera DNS, wskazujący na serwer główny. Konfiguracja taka dobrze sprawdza się w przypadku serwerów DNS, WINS i proxy. W przypadku serwera WINS wymagany jest dodatkowy krok, w którym lokalny serwer WINS wypycha zmiany do jednego z głównych serwerów WINS, natomiast główny serwer WINS ściąga zmiany z serwera lokalnego. To pozwoli zaimplementować jednokierunkową replikację pomiędzy lokalnymi serwerami WINS i serwerem głównym.
Jako metodę równoważenia obciążenia wywołanego żądaniami użytkowników i zapewnienia nadmiarowości możemy stosować dodatkowe serwery, wieloadresowość i serwery hierarchiczne — albo połączenie wszystkich trzech metod. Każda z nich się nadaje, lecz wszystkie opierają się na zasadzie rozkładu obciążenia na więcej serwerów. Dobra wiadomość: większość usług, które musimy udostępnić w sieci, pozwala na takie rozwiązania. W przypadkach, gdy to niemożliwe (na przykład, dla niektórych baz danych i systemów poczty elektroniczej), musimy znaleźć inne rozwiązanie — na przykład klastry.
Stosowanie grupowania
Jeśli nasza firma ma pieniądze do wydania i dane, których nie może utracić w serwerze mogącym ulec awarii, rozwiązaniem jest grupowanie. Weźmy pod uwagę duży, ogólnokrajowy dom handlowy, który pozwala klientom składać zamówienia telefonicznie. Posiada on centrum telefoniczne, które odbiera telefony z całego kraju i przyjmuje co godzinę tysiące zamówień. Każde zamówienie obejmuje setki drobnych porcji informacji. W takim przypadku awaria serwera będzie kosztować firmę dosłownie setki tysięcy złotych. Znalezienie, zbudowanie, zapełnienie i odtworzenie innego systemu po awarii może oznaczać utratę godzin lub dni.
Czasami nieobecność serwera po prostu nie wchodzi w rachubę, zaś kilka serwerów, które muszą replikować między sobą dane, może nie nadążać za przepływem danych. W takim przypadku jedynym rozwiązaniem jest grupowanie (inaczej klastrowanie — clustering).
Grupowanie w najprostszej postaci obejmuje dwa systemy ze wspólnym systemem dyskowym. Każdy z systemów regularnie sprawdza stan drugiego, a jeśli podstawowy system zawiedzie, drugi używa informacji na wspólnych dyskach, by podjąć jego zadania. Rysunek 20.10 przedstawia taką prostą formę grupowania.
Rysunek 20.10.
przykład grupowania aktywny-pasywny
Rysunek 20.10 jest przykładem grupowania aktywny-pasywny. Drugi system nie robi nic, dopóki podstawowy węzeł nie zawiedzie. W takim przypadku węzeł zapasowy przej­muje funkcje podstawowego. Taki proces może zadziałać tylko wtedy, gdy wszystkie dane dla przejmowanych usług znajdują się w zestawie współużytkowanych dysków. Ponadto zestaw dysków musi być nadmiarowy, gdyż w przeciwnym razie awaria napędu spowodowałaby załamanie całego klastra.
Macierz dyskowa jest podzielona na różne obszary. W jednym z nich każdy system utrzymuje informacje o bieżących połączeniach. Drugi system, śledząc informacje o po­łączeniach na dysku i przechowując je w pamięci, w przypadku przejęcia funkcji systemu uszkodzonego, może uzyskać od niego te informacje. Każda usługa posiada również własny obszar, tak by mogła funkcjonować w dowolnym systemie.
Każdy węzeł w klastrze musi mieć załadowane wszystkie usługi, które ma przejąć, zaś konfiguracja usług w obu węzłach musi być synchronizowana. Sama usługa potrzebuje odrębnego adresu IP, niezależnego od systemu, by użytkownicy mogli łączyć się z nią niezależnie od tego, który system aktualnie udostępnia usługę.
Wprawdzie takie grupowanie zapewnia nadmiarowość, lecz nie udostępnia równoważenia obciążenia w żadnej postaci. Aby zapewnić równoważenie obciążenia, musimy skonfigurować system aktywny-aktywny, w którym oba systemy będą w stanie równocześnie korzystać z zasobów dyskowych. Aby taka konfiguracja mogła działać, klaster musi obsługiwać jakiś mechanizm blokowania, aby dane modyfikowane w jednym systemie nie mogły zostać równocześnie zmodyfikowane przez inny system. Blokowanie pozwala jednemu systemowi zablokować część lub wszystkie zasoby, aby nie zaszła rywalizacja o zasób — próba równoczesnego dostępu do tego samego zasobu prze dwa procesy. Oznacza to, że aplikacja i usługi grupowania muszą współpracować ze sobą i być specjalnie do tego zaprojektowane. W sytuacjach, gdy usługą grupowaną w systemie aktywny-aktywny jest coś w stylu prostego serwera WWW, zadanie to jest o wiele łatwiejsze, ponieważ klienty nie aktualizują żadnych danych.
Do dystrybucji klientów pomiędzy aktywne węzły klastra potrzebna jest dodatkowa usługa. Może do tego posłużyć karuzela rekordów w DNS-ie lub inna usługa, na przykład Network Load Balancing Microsoftu. W środowisku TCP/IP karuzela (round robin) w DNS-ie jest rozwiązaniem prostym i łatwym do zaimplementowania. Metoda ta polega na wprowadzeniu do pliku strefy dwóch lub więcej rekordów hosta o tej samej nazwie, lecz z różnymi adresami IP. Serwer DNS wydaje te adresy na przemian, jeden po drugim, do następujących po sobie odebranych żądań. W niektórych implementacjach serwer DNS również bierze pod uwagę adres IP klienta — zwracając adres IP lokalnego interfejsu, jeśli takim dysponuje.
Grupowanie może wykraczać poza dwa systemy i rozrosnąć się do znacznie większej liczby węzłów. Wraz ze wzrostem tej liczby rośnie złożoność klastra i procesu planowania. Grupowanie jest rozwiązaniem kosztownym, które zwykle stosuje się w przypadku serwerów niezbędnych do funkcjonowania przedsiębiorstwa, lub w sytuacjach, gdy nie mamy innego wyboru, ponieważ usługa nie może pracować w trybie rozproszonym.
Jest kilka sposobów na osiągnięcie równoważenia obciążenia i nadmiarowości. Koszty i złożoność tych metod mogą różnić się w bardzo szerokim zakresie, lecz dla najważniejszych usług sieciowych musimy wziąć pod uwagę jakiś mechanizm nadmiarowości i równoważenia obciążenia. Rysunek 20.11 przedstawia kompletną sieć z tymi mechanizmami.
W tym przypadku usługa pocztowa uruchomiona jest w klastrze złożonym z trzech serwerów, zaś do rozkładu obciążenia pomiędzy te serwery służy karuzela DNS. Podstawowy serwer DNS jest podłączony do sieci szkieletowej i skonfigurowany do rozsyłania zmian do serwerów wtórnych. Z kolei rutery położone najbliżej klientów, będące dodatkowo serwerami buforującymi DNS, korzystają z dwóch serwerów wtórnych jako forwarderów. Serwery SQL replikują informacje pomiędzy sobą, zaś klienty są tak skonfigurowane, by łączyć się z najbliższym serwerem SQL. Każdy ruter lokalny zapewnia dodatkowo uwierzytelnienie sieciowe i replikuje informacje do głównego serwera uwierzytelniającego dla danej części sieci. Ten z kolei replikuje wszystkie swoje informacje do innych serwerów uwierzytelniających. Na potrzeby używanego w sieci systemu uwierzytelniania mogą być skonfigurowane dla klientów również serwery alternatywne.
Rysunek 20.11.
Kompletna sieć z zapewnionym równoważeniem obciążenia i nadmiarowością
Klienty, które muszą tego dokonać, rejestrują się w lokalnym serwerze WINS, uruchomionym w lokalnym ruterze, zaś ten serwer replikuje rejestracje klientów do głównego serwera WINS. Klienty posiadają lokalne serwery DNS i WINS skonfigurowane jako pierwsze na liście oraz główne serwery nazw jako drugie. W lokalnych sieciach konfiguracja ta jest rozprowadzana za pomocą DHCP. Serwery DHCP otrzymują małą porcję adresów dla dwóch pozostałych najbliższych sieci, zaś rutery lokalne są skonfigurowane do przekazywania pakietów BOOTP.
Jedyną częścią sieci nie oferującą nadmiarowości są rutery i serwery plików i drukowania. Nadmiarowość ruterów możemy osiągnąć za pomocą klastrów, lecz z uwagi na koszty zwykle takie rozwiązanie nie jest stosowane. Ponieważ jednak koszty klastrów maleją, niektóre organizacje mogą rozważać nadmiarowość na tym poziomie.
428	Część IV Tworzenie i utrzymanie sieci TCP/IP
Rozdział 20. Planowanie rozmieszczenia serwerów	429
W14-1, TCh1
KJP W14-1 WETI, sem. 6, wtorek. 14.15-15.45, s. 01 WETI 6.03.07 20.03.07 3.04.07 24.04.07 15.05.07 29.05.07 12.06.07 1B Wprowadzenie Słowniki, poradnie Zapożyczenia Akcent Interpunkcja Błędy...
eko, EKOLOGIA 29[1][1].05.04 Vsem, EKOLOGIA 29
EKOLOGIA 29.05.04 Sukcesja - powolne zasiedlanie danego ekosystemu Biomarkery - organizmy wskaźnikowe zrównoważenia ekosystemu ETAPY ROZWOJU SUKCESJI nie zasiedlone całkowicie obszary bez „życia” - PRZEDSUKCESYJNE imigracja - pojawiają się...
Zad 29 05 13
29.05.2013 Z równi pochyłej o kącie nachylenia  do poziomu stacza się bez poślizgu jednorodny walec o masie m. Obliczyć wartość działającej w tym ruchu siły tarcia. Moment bezwładności pręta względem jego środka Io = 1/2mr2. Dane jest przyspieszenie ziemskie g. Na...
Ustawa z dnia 29 sierpnia 1997 r o ochronie danych
zmiany: 2004-01-01 Dz.U.2002.153.1271 art. 52 2004-03-01 Dz.U.2004.25.219 art. 181 2004-05-01 Dz.U.2004.33.285 art. 1 2006-07-24 Dz.U.2006.104.708 art. 178 2006-10-01 Dz.U.2006.104.711 art. 31 2007-09-14 Dz.U.2007.165.1170 art. 39 2007-10-10 Dz.U.2007.176.1238 art. 13 USTAWA z dnia 29 sierpnia 1997 r. o ochronie......
egzamin Z22 2015 z 22 2015 05 X k
Nazwa kwalifikacji: Wykonywanie działań ratowniczych Oznaczenie arkusza: Z.22-X-15.05 Oznaczenie kwalifikacji: Z.22 Wersja arkusza: X Klucz odpowiedzi Numer Odpowiedź Numer Odpowiedź zadania zadania 1 B 21 C 2 C 22 C 3 D 23 A 4 B 24 D 5 A 25 C 6 A 26 C 7 C 27 C 8 B 28 D 9 D 29 B 10 B 30 D 11 C......
z 01 2014 05 X k
Nazwa kwalifikacji: Świadczenie usług w zakresie masażu Oznaczenie arkusza: Z.01-X-14.05 Oznaczenie kwalifikacji: Z.01 Wersja arkusza: X Klucz odpowiedzi Numer Numer Odpowiedź Odpowiedź zadania zadania 1 A 21 D 2 B 22 A 3 B 23 C 4 C 24 A 5 B 25 C 6 B 26 A 7 D 27 D 8 C 28 C 9 C 29 D 10 A 30 A 11 C 31 D 12 D 32 C 13 C 33 B 14 A 34 D 15 B 35 B 16 D 36 D......
kpk, ART 618 KPK, I KZP 15/05 - postanowienie z dnia 24 maja 2005 r
I KZP 15/05 - postanowienie z dnia 24 maja 2005 r. Przewidziany w art. 29 ust. 1 ustawy z dnia 26 maja 1982 r. Prawo o adwokaturze (Dz. U. z 2002 r. Nr 123, poz. 1058 ze zm.) obowiązek Skarbu Państwa ponoszenia kosztów nieopłaconej przez strony pomocy prawnej z urzędu (art. 618 § 1 pkt 11 k.p.k.) dotyczy pomocy „udzielonej”,...
Ćw 29, LABEL29 git, ˙wiczenie 43
Piotr Mazur	Rzeszów 07.05.1996 I ED L 08 ĆWICZENIE 29 Zdejmowanie charakterystyki diody półprzewodnikowej . I . Wprowadzenie. Półprzewodnikami nazywane są ciała stałe dla których szerokość pasma wzbronionego nie...
CWICZENIA, Ćwiczenia 10 - 29.04.05, MIKROTUBULE
29.04.2005 - Ćwiczenia 10 TEMAT: TKANKA ŁĄCZNA WŁAŚCIWA CD Cechą charakterystyczną tkanki łącznej jest występowanie w niej komórek i substancji pozakomórkowej. Wyróżniamy w niej włókna, substancję podstawową i płyn tkankowy. Podział tkanki łącznej: tkanka...
GWSH - Ekologia, Ekologia - wykłady, EKOLOGIA 29
wzmacniacz, 29
Michał Rozkrut 162922 Piotr Kwiatkowski dr Adam Krzywaźnia Ćwiczenie nr: 10 Rok: I semestr: letni Wzmacniacz Wydział Chemiczny Ocena: 29.05.2008 r. Czw. 730-900...
ADR, Rozp. Ministra Infrstruktury z 29.09.2005 r. w sprawie formularza listy kontrolnej
Dz.U.05.201.1667 ROZPORZĄDZENIE MINISTRA INFRASTRUKTURY1) z dnia 29 września 2005 r. w sprawie formularza listy kontrolnej2) (Dz. U. z dnia 14 października 2005 r.) Na podstawie art. 31 ust. 1 ustawy z dnia 28 października 2002 r. o przewozie drogowym towarów niebezpiecznych (Dz....
29, Cwiczenie 29 g, Tomasz Dobrzycki
Tomasz Dobrzycki WPPT(Fizyka) I rok 12.05.1997r. SPRAWOZDANIE Z W. NR 29 Temat: Wyznaczanie wspóczynnika rozszerzalnoci liniowej metod elektryczn. 1. Przebieg wiczenia Celem wiczenia jest wyznaczenie wspóczynnika rozszerzalnoci liniowej drutu...
225/2040, 239/817, 200/5902, 230/3671, 234/2946, 108/7521, 165/2937, 104/6128, 198/2284, 143/8905, 728/9129, 709/1272, 709/7965, 705/2004, 726/3637,