Nie pamiętam kiedy w mojej głowie zrodził się pomysł posiadania swojej "małej serwerowni". Oglądałem niezliczone filmy na Youtube, czytałem wątki i oglądałem zdjęcia na subreddit`ie r/homelab i tak powoli zaczął kiełkować pomysł zmajstrowania sobie miejsca, w którym mógłbym nauczyć się nowych rzeczy, przetestować różne systemy i konfiguracje, aby w dłuższej perspektywie stać się lepszym w swojej pracy zawodowej oraz, co oczywiste, więcej zarabiać. 🤑

Pierwsze podejście było ambitne czyli budowa ruchomego zestawu w 19" stelażu RACK 21U i zamontowanie do niego kilku używanych serwerów oraz osprzętu dodatkowego. Wstępne moje wyliczenia oscylowały o inwestycji między 30 000 a 40 000 zł brutto. 😅 W tej koncepcji był jeden plus - praca na sprzęcie serwerowym. Minusów było zdecydowanie więcej - brak miejsca w domu na instalację takiego zestawu, hałas oraz ciepło generowane przez tego typu sprzęt czy wysoki koszt obsługi tego wszystkiego w długim okresie (głównie chodzi mi tutaj o koszt prądu). Pomysł, który fajnie wyglądał w Excelu, ostatecznie okazał się zbyt ambitny na moje możliwości lokalowe.

Po jakimś czasie postanowiłem kompletnie zmienić koncepcję i w większości oprzeć się na sprzęcie konsumenckim z małą domieszką urządzeń, które mogły być wykorzystywane w firmie. Dzięki temu nie wydałem fortuny, całość jest bardziej podręczna i póki co spełnia swoje zadanie.

Koszty budowy i kompletowania sprzętu

Poniższa tabela zawiera zakupy poczynione przez mnie na przestrzeni kilku ostatnich lat. Nie są w niej uwzględnione rzeczy "zdobyczne" czyli takie, które powinny iść na śmietnik (np. dyski twarde z błędnymi sektorami lub podzespoły już do niczego nie potrzebne, a działające (np. płyta główna Asus B85M-E z procesorem Intel® Core™ i5-4430 i 4x 4 GB RAM DDR3 1600 MT/s)), ale postanowiłem je zachować na potrzebny testów.

Łączne kwota wydaje się wysoka. Uważam jednak, że za te pieniądze udało mi się skompletować nie małą ilość sprzętu i pozwala to wszystko na całkiem przyjemną naukę/zabawę.

Obudowa JONSBO N5 – serce mojego homelab

Całość konfiguracji swojego homelab`a zacząłem od obudowy JONSBO N5, która będzie mi służyć jako podstawa serwera NAS. Zależało mi na obudowie oferującej bardzo duże możliwości konfiguracji, z jednym głównym warunkiem - możliwość montażu 12 dysków twardych 3,5". Po dłuższych poszukiwaniach natrafiłem na firmę JONSBO i ich obudowę N5. Jak ją zamawiałem, to mimo iż wzorowałem się wymiarami podanymi na stronie internetowej, to w mojej głowie wydawała się ona mniejsza. 😅

W zestawie prócz samej obudowy znajduje się pudełko z instrukcją, zestawem śrubek i małym śrubokrętem z końcówką Hex, gumowymi uchwytami i przelotkami do dysków twardych oraz, rzecz jasna, trytytki.

Aby zdjąć górną część obudowy należy użyć dołączonego śrubokręta i odkręcić 6 śrubek. Górna część przeznaczona jest na sprzęt komputerowy. Znajduje się w niej również okablowanie od przedniego panelu oraz wentylator 120 mm. Przegroda ta zawiera mnóstwo miejsca więc pozwala ona na kreatywne wykorzystanie dostępnej przestrzeni i pomieści one wiele.

Przedni panel trzyma się na dwóch magnesach więc jego demontaż jest bezproblemowy. Za nim znajduje się dolna przegroda, która podzielona jest na dwa segmenty:

• przedna część to zatoka na dyski twarde (lewa strona na 4 dyski montowane poziomo i prawa na 8 dysków montowanych pionowo),
• tylna część przeznaczona jest na zasilacz i całe jego okablowanie.

Każdy z zamontowanych dysków twardych podłączany jest osobnym kablem SATA. Zasilanie wyprowadzone jest złączem SATA lub Molex, w ilości 1 i 2 na backplane ośmiodyskowym oraz po jednym na backplane czterodyskowym. Osobiście prąd podaje złączami Molex. Większy backplane wymaga podłączenia dwóch złącz zasilania, w mniejszym wystarczy jeden.

No dobrze, prezentację wnętrza obudowy mamy za sobą więc pora na podłączenie kabli SATA.Na pierwszy strzał wykorzystałem tradycyjne kable.

Mam co prawda kilka sztuk 6 kabli SATA w oplocie, dzięki którym miałbym większy porządek w obudowie, ale na ten moment postanowiłem iść "po staremu". 😅

Podpiąłem wszystkie 12 portów SATA i wszystkie kable wyprowadziłem do górnej części wykorzystując wycięcia w obudowie.

Następnie wziąłem się za za zamontowanie zasilacza. Nie jest to nic renomowanego i godnego polecania, ale w zupełności wystarczy mi do zabawy.

Obudowa zawiera uchwyt montażowy dla zasilacza, który ułatwia jego zamontowanie.

Obok znajduje się uchwyt wentylacyjny z fabrycznie zamontowanymi dwoma wentylatorami 120 mm.

Wentylatory pozostaną u mnie nie podłączone ponieważ system nie będzie pracował cały czas więc dodatkowe chłodzenie wyciągające ciepłe powietrze z obudowy nie jest mi potrzebne.

Po zdjęciu obydwu uchwytów montażowych uzyskujemy swobodny dostęp do tylnej części backplane. Kable SATA podłączyłem przed zdjęciem tej części obudowy, a robiłem to wykorzystująć wycięcia w górnym panelu. Nie wiem dlaczego tak postąpiłem. Ewidentnie zawiodło myślenie. 😆

Po zamontowaniu zasilacza robi się tam ciasno, szczególnie, jak w moim przypadku, zamontuje się zasilacz niemodułowy. Trochę trytytek i da się ogarnąć ten kablowy galimatias.

Posiada przez mnie płyta główna posiada tylko 6 portów SATA więc muszę posiłkować się kartą PCIe z dodatkowymi 10 portami SATA.

Dodatkową kartę, jaką montuję, to karta sieciowa Mellanox ConnectX-4 Lx z dwoma portami SFP+ o przepustowości 25 Gb. Co prawda przełącznik sieciowy, który posiadam wyposażony jest w 2 porty SFP+ o maksymalnej przepustowości 10 Gb więc nie będę wstanie w pełni wykorzystać możliwości tej karty. W momencie zakupu była to tańsza opcja niż zakup karty typowo 10 Gb. Może ona działać w trybie 10 Gb także nie jest to jakiś wielki problem. Zamontowałem jeszcze dodatkową kartę sieciową TP-Link TF-3239DL. W sumie nie wiem po co, bo to karta 10/100 Mb/s, ale myślę, że znajdę dla niej zastosowanie.

Przy zakupie lekko się zakręciłem i kupiłem kartę niskoprofilową więc musiałem zamontować ją w nieco inny sposób niż bym chciał, ale nie wyszło tak źle - karta siedzi pewnie w obudowie.

Kartę i przełącznik będę łączył dedykowanym dla niego (czyli switch`a) kablem światłowodowym DAC od MikroTik.

A tak się wszystko prezentuje po zamontowaniu w obudowe.

Po bokach znajdują się 4 prowadnice służące do zamontowania maksymalnie 4 dysków SSD. Przy odrobinie kombinowania może uda się ich zamontować więcej. W mojej konfiguracji mam jeszcze tyle wolnego miejsca, że mogę je swobodnie położyć obok płyty głównej.

Na przestrzeni kilku(nastu) lat pracy zawodowej zebrałem trochę dysków wszelkiej maści, także przez najbliższy czas z pewnością nie zabraknie mi nośników do zabawy. 😅

W zestawie z obudową producent dorzuca również filtr przeciwkurzowy. Podobnie jak w przypadku wentylatorów, zrezygnowałem z jego montażu, gdyż nie jest mi to potrzebne w typowo doświadczalnym systemie.

Na sam koniec pozostała mi do wykonania żmudna praca polegająca na przykręceniu po 6 śrubek z gumowymi podkładkami oraz gumowym uchwytem do każdego z 12 dysków HDD.

Finalny efekt po załadowaniu wszystkich 12 zatok. Ładnie. 🙂

Mini PC Beelink EQR5 – węzły obliczeniowe (compute nodes)

Największy element skonfigurowany, teraz przyszła pora na cztery małe komputerki, które będą u mnie robiły za węzły obliczeniowe (ang. compute node). W tym wypadku również sporo się naszukałem, aby znaleźć odpowiednie urządzenie spełniające następujące wymagania:

• obsługa min. 64 GB RAM,
• możliwość montażu 2 dysków M.2,
• 2 złącza RJ45,
• wbudowany zasilacz,
• przystępny cenowo.

Powyższe punkty w pełni spełnił Beelink ze swoim komputerem EQR5. Budżetowy, ale dobrze wyposażony i wydajny komputer, który w teorii przeznaczony jest do zadań biurowych, a ja postanowiłem sprawdzić w praktyce, jak on się sprawdzi jako serwer.

Z przodu urządzenia producent umieścił złącze USB 3.2 Gen 2 typu A o przepustowości 10 Gbps, 3,5 mm złącze mini-jack combo, otwór z przyciskiem czyszczenia pamięci CMOS, złącze USB 3.2 Gen 2 typu C o przepustowości 10 Gbps oraz przycisk i diodę zasilania. 

Z drugiej strony pod pokaźnym wylotem ciepłego powietrza z systemu chłodzenia znajdują się 2 porty USB 3.2 Gen 2 typu A o przepustowości 10 Gbps, 2 złącza HDMI obsługujące maksymalną rozdzielczość 4K w 60 Hz, gniazdo USB 2.0 o przepustowości 480 Mbps, 2 gigabitowe interfejsy sieciowe oraz najważniejszą dla mnie funkcję czyli wbudowany zasilacz 85 W z gniazdem zasilającym (popularna ósemka).

Podczas szukania małych komputerków do swojej pracowni zależało mi na tym aby wyeliminować zasilacze, które niepotrzebne zajmowały by mi miejsce na biurku. Rozwiązanie Beelinka jest dla mnie idealne. Swoje egzemplarze rozbudowałem o większą pojemność RAM (z 16 GB na 64 GB DDR4 3200 MHz) oraz o dodatkowy dysk SSD M.2 NVMe PCIe 4.0 500 GB. Aby dostać się do wnętrza udządzenia wystarczy odkręcić 4 śrubki znajdujące się pod gumowymi zaślepkami na rogach obudowy. W zdjęciu denka pomaga "gumowy dzyndzel" umieszony na rogu.

A co w środku? No tam sporo się dzieje, zważywszy na gabaryty urządzenia. Widać zasilacz z ostrzeżeniem, radiatory na dyski SSD oraz 2 sloty pamięci RAM DDR4.

W tym momencie daje o sobie znać ciasne upakowanie elementów w obudowie. Dołożenie dodatkowego dysku NVMe wymaga odkręcenia 3 śrubek i zdjęcia radiatora. Wymiana pierwszego dysku to więcej pracy, gdyż trzeba wykręcić 2 śrubki trzymające panel frontowy, a po jego odchyleniu i odkręceniu kolejnych 2 śrubek demontujemy radiator i w ten sposób uzyskujemy dostęp do głównego dysku SSD i karty WiFi. Zgodnie ze specyfikacją producenta w obydwu slotach można zamontować dyski o pojemności do 8 TB. 🙂

Dorzucam drugi dysk SSD M.2 NVMe PCIe 4.0 o pojemności 500 GB. Łącznie będę miał 2 dyski po 500 GB. Planuję ustawić je w RAID0 co łącznie da mi 1 TB pojemności co na początku w zupełności mi wystarczy.

Po dołożeniu dodatkowego dysku i zamontowaniu radiatora, wyjmuję dwie kości 8 GB DDR4 3200 MHz, które były oryginalnie zamontowane i zastępuje je dwoma kościami 32 GB DDR4 3200 MHz co da mi 64 GB pamięci operacyjnej na urządzenie, a łącznie mam ich 4 sztuki. 😅

Planuję wbudowane dyski SSD wykorzystywać jako nośniki danych, natomiast systemy operacyjne będę instalował na pamięciach przenośnych Sandisk Ultra Fit 32 GB. Pomyślisz, że to szalony, może nawet głupi i poroniony pomysł. Być może, ale chcę w swojej pracowni przetestować skonfigurowanie takich pamięci w RAID i sprawdzenie jak to długo będzie działać.

Na koniec umieszczam wszystko na obudowie NAS`a.

Podsumowanie – finalny efekt i plany na przyszłość

Tak prezentuje się mój domowy poligon doświadczalny - jestem bardzo zadowolony z efektów. Mam nadzieję, że ta konfiguracja będzie mi służyć przez ładnych parę lat. Skompletowałem całkiem kompaktowy zestaw w porównaniu z typowo serwerowymi rozwiązaniami, które początkowo chodziły mi po głowie. Trudno nie docenić, że sprzęt zajmuje mało miejsca, będzie zużywać mało prądu oraz nie będzie mi robił z pokoju sauny. 😅

A co będziesz z tym wszystkim robił? Dobrze, że pytasz. Plany mam ambitne, gdyż chcę wgryźć się w zagadnienia takie jak:

• system plików ZFS,
• wirtualizacja KVM/QEMU,
• zaawansowane ustawienia sieci,
• symulowanie awarii,
• klastry,
• testowanie różnych konfiguracji i ich wpływ na wydajność.

Lista wydaje się niewielka, ale coś czuję, że im głębiej będę wchodził do królicznej nory tym będzie robić się ciekawej. 😜