...
Jag har fortfarande inte hittat en produkt som orkar med allt i 1000/1000 till rimliga priser. Vad du behöver för att klara det där i 10Gbit och betala som privatperson vågar jag inte ens tänka på.
...
I och med att jag grävt i alla tänkbara varianter för att komma någonstans över 1gbit/s i routing så har jag sett en och annan lösning svisha förbi i periferin, som jag tänker säkert skulle kunna täcka in dina behov här.
Två frågor först; Hur mycket egenbyggd lösning vill du ha kontra helt off-the-shelf? Och var ligger gränsen för där kostnaden ej längre är "rimlig"?
Den jag tänkte på på rak arm, som jag faktiskt överväger att bygga en själv för att se om/hur långt över 1gbit/s den kan skjuta är Macchiatobin, som jag är ganska säker på att den borde täcka behoven. Den är dock en barebones-enhet där du helt enkelt får ett CPU-bestyckat moderkort (ARM) med NICs, och sen får du se till att konfigurera upp den med vad du nu vill köra för mjukvara.
Vad som finns färdigt att ladda ner är förbyggda Linux kernels, en Ubuntu-konfiguration och OpenWrt.
Priserna här verkar vara från cirka 2,5k upp till 5k beroende på hur mycket minne och lagring man vill ha, och liten variation i max-frekvens på CPUn. Den här enheten är kanske inte optimal om inte 10GbE ligger på agendan för framtiden, då jag föstått det som att SFP+-transceivrarna ej går att stänga av helt, utan kommer då ha lite onödig strömförbrukning.
Om man vänder blickarna mot skyn (10gbit/s routing) så är jag ganska säker på att det går att nå ända fram för en bättre begagnad bil (eller till och med en inte så bra begagnad bil), men det är ju inte vad jag skulle klassa som rimliga siffror för vad man ska uppnå. Det jag baserar siffrorna på då är antingen en Xeon D från 1500-serien, alternativt en Atom C 3000, och sen ett OS med en nätverksstack (alternativt större delen av OS-kerneln) baserad på Intels DPDK. Tyvärr är det få open source-implementationer som finns med DPDK-stöd så de prisuppgifter jag lyckats få fram är att licensen för sån mjukvara börjar på cirka 3 gånger kostnaden för hårdvaran, utan supportavtal inräknade.
Skaffa dessutom ett eller flera 10 Gbit nätverkskort med SFP+. Fabrikat Chelsio och Mellanox finns på Ebay för några hundralappar. Kör t.ex pfSense. Jag vet inte vilken routing-hastighet man får, men den har 12 kärnor/24 trådar och minnesbandbredden är upp till ca 85 Gbit/s.
En nackdel är att den drar drygt 100W, men man kan ju testa att använda den även som NAS, men det kan förstås stjäla lite kraft från routingen. En annan nackdel är att den har fläktar, så man vill inte ha den i ett rum som man vistas i en längre tid.
Dessutom har ingen nämnt VPN ännu. Det vill man köra i routern om man använder det för att komma åt hela sitt nätverk utifrån.
Här är AES-krypterings-hastigheten för ovanstående Dell R710 när den kör ubuntu server:
1 tråd:
test@r710ubuntu:~$ openssl speed aes
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
aes-128 cbc 75590.52k 90390.34k 86857.81k 89612.63k 92768.94k
aes-192 cbc 70757.58k 75614.85k 76998.89k 76759.04k 77133.14k
aes-256 cbc 61250.31k 64966.70k 65638.83k 65531.90k 65811.80k
12 trådar:
test@r710ubuntu:~$ openssl speed -multi 12 aes
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
aes-128 cbc 870799.27k 979990.66k 1003383.38k 1009097.73k 1006589.27k
aes-192 cbc 767492.08k 819811.50k 833328.47k 836746.58k 836468.74k
aes-256 cbc 664304.30k 704147.54k 712115.71k 714172.42k 713719.81k
Fler än 12 trådar ger ingen nämnvärd förbättring
Servershop24 har även några begagnade HP DL380 G6 som kan vara ett alternativ om man vill komma ännu billigare undan. Finns från 225 Euro inklusive moms och frakt. De har 2.5-tums diskar, vilket är en nackdel prismässigt om man vill stoppa i mycket disk. Ovanstående Dell R710 tar 3.5-tums-diskar, som finns till mycket bra pris i stora storlekar.
Köp en begagnad Dell R710 för 315 Euro inklusive moms och frakt hem till dörren (även till Sverige):
...
Tackar för tipset och länken!
De hade jag faktiskt inte en aning om att de gick att få till den prisnivån, trodde de låg på åtminstone det dubbla... Har du någon aning om hur ljudnivåerna på dem ligger, för där anar jag att den största nackdelen ligger i en sån setup, där jag har min utrustning placerad idag...
Är det ett engångs-inköp så har jag inte så svårt att sträcka lite på budgeten om man kan öka effektiviteten och få ner energiförbrukningen och kanske även ljudnivån, så det är väl lite därav jag snarare har kikat på Atom C3000/Xeon D.
Jag har tyvärr fått intrycket att pfSense verkligen har avtagande effektivitet per klockcykel när man kommer uppåt i större konfigurationer och bandbredd, med många som verkar mena att 10gbit/s är tungdrivet även med de biffigaste riggarna.
Min förståelse är väl att det är därför netgate (huvusponsorn bakom pfSense) också börjar överge nuvarande arkitektur för pfSense till förmån för sina nya initiativ. Ursprungligen kikade de väl på att DPDK-anpassa pfSense, men valde istället att gå med en ny sorts kernel där det ännu inte verkar helt klargjort vilken licensform de vill köra på den.
De andra mjukvarurouters jag snöat in mig lite på, som byggts med DPDK, hade i alla fall ett whitepaper där just E5645rna används som exempel, och kunde där påvisa i runda slängar 13,5Mpps per kärna. Det skulle innebära att om prestandan är någorlunda linjär, vilket är en av fördelarna jag förstått att DPDK bidrar med, så skulle R710:an i runda slängar klara av att routa full 40gbit/s åt båda hållen med 2 x 6 kärnor. Sen är väl frågan vilka features som var av/på i samband med mätningen, och vilka features man sen önskar, med avseende på brandväggar och VPN, etc.
Det där är ju inte helt sant beroende på vilka krav man har. De flesta routertillverkare visar prestandan i kpps eller Mbit/s vid 3 olika paketstorlekar men vid användning av cut through forward (finns flera namn). Detta innebär att man är tvungen att avstå ifrån en hel drös med finesser och funktioner som iaf jag inte är beredd att avstå ifrån. Vill man kunna ha statistik, brandväggsregler, separata regler för olika IP osv, så kommer du inte i närheten av line speed på en gig-lina hem med den där.
En soc tillverkare, Broadcom använder sig utav CTF i många produkter. Dock så styrs den utav ip-tables. CTF fungerar så att inkommande paket jämförs med utgående paket. Om själva paket-transformen går att realisera med några statiska regler så skickas dessa regler till en paket-accelerator och sedan flyttas flödet över till denna. Detta gör att man kan ha komplexa brandväggsregler men fortfarande väldigt bra prestanda. Dock kan man ju inte accelerera en regel som skall göra något dynamiskt baserat på externa faktorer.
En soc tillverkare, Broadcom använder sig utav CTF i många produkter. Dock så styrs den utav ip-tables. CTF fungerar så att inkommande paket jämförs med utgående paket. Om själva paket-transformen går att realisera med några statiska regler så skickas dessa regler till en paket-accelerator och sedan flyttas flödet över till denna. Detta gör att man kan ha komplexa brandväggsregler men fortfarande väldigt bra prestanda. Dock kan man ju inte accelerera en regel som skall göra något dynamiskt baserat på externa faktorer.
Det är väl även så både Cavium och Mediateks kretsar fungerar generellt.
Som jag förstår Mediateks accelerator så är det ett hårdvarublock som man aktiverar. Sen så accelererar den allt den lyckas plocka upp med de protokoll den stödjer. I Broadcoms fall kan du flytta tillbaka flödet till processorn om du vill analysera trafiken och man kan stödja flertalet tunnlingsprotokoll bara det finns stöd i den kärna man kör.
Jag har aldrig använt Pfsense, men det är kanske smidigare att slänga ihop en egen maskin med FreeBSD och Pf för att kunna laborera med prestandan lite mer fritt. Tyckte själv det fungerade bra när jag gjorde så förr i tiden. Finns en del hjälp och tips att få från andra som säkert pysslar med samma grej.
Fantastisk länk, den har undgått mig! Anar att du såg det, men för andra i tråden så går de uttryckligen in på ämnet "10G performance".
För min del, om jag går mjukvaruvägen/egenbyggd, så lär jag nog sätta upp allt i ESXi alternativt Proxmox, så man får själva routing-funktionaliteten med "failover" och möjliggör att uppgradera utan större avbrott, så på det temat kunde man ju experimentera ganska friskt med FreeBSD.
Har du någon aning om hur ljudnivåerna på dem ligger, för där anar jag att den största nackdelen ligger i en sån setup, där jag har min utrustning placerad idag...
För att vara en server tycker jag den är tyst och fin, men ska man vistas väldigt länge i närheten vill man nog ha en stängd dörr emellan. Den är inte lämplig i vardagsrummet eller sovrummet.
magebarf skrev:
Fantastisk länk, den har undgått mig! Anar att du såg det, men för andra i tråden så går de uttryckligen in på ämnet "10G performance".
Dessutom refererar även den sidan till processorn E5645, som är exakt den som siiter i Dell R710 som jag länkade till! Det verkar vara en populär processor för router-experiment!
Det där är ju inte helt sant beroende på vilka krav man har. De flesta routertillverkare visar prestandan i kpps eller Mbit/s vid 3 olika paketstorlekar men vid användning av cut through forward (finns flera namn). Detta innebär att man är tvungen att avstå ifrån en hel drös med finesser och funktioner som iaf jag inte är beredd att avstå ifrån. Vill man kunna ha statistik, brandväggsregler, separata regler för olika IP osv, så kommer du inte i närheten av line speed på en gig-lina hem med den där.
Även om varningen om om att vara medveten om vad man köper och att inte lita på siffrorna på paketen är mycket bra, (tro mig, jag brukade bygga och sälja routrar på Ericsson... ) så finns det grader i även det helvetet. Det är alltifrån "hemmaprodukter" där man snart sagt inte kan lita på en enda siffra, hela vägen till Clavister (som alltid brukade ge det sämsta tänkbara resultatet, dvs om de lovade X pkt/s så kunde de alltid hålla det). cisco med sin "hittepåhastighet" är ju värda att nämna här. Det alla vi andra kallade ett 100 Mbps interface, kallade de ett 200 Mbps interface. (Om det sedan har så mycket med cut-through forwarding att göra, det är en annan, mera teknisk fråga. Det är en relativt avancerad feature, som många, däribland Ubiquitys produkter inte har stöd för.)
Så, det är sant att även Ubiquitys produkter inte klarar allt, i alla situationer. De klarar däremot mer än vad de flesta kanske tror. Du nämner exv. routing (jag inbegriper NAT), och brandväggsregler, och vad gäller storebrorsan Edgerouter lite så klarar den 1 Gbps med nat + firewall, mha hårdvaruacceleration. Så den är bättre än typiska "hemmaroutrar". Edgerouter X klarar nästan samma. (Detta unidirektionellt). Så de är bättre än man tror. De ligger helt klart i en annan klass än mycket av det andra skräpet som finns på konsumentmarknaden.
MEN, som man ser i det senare testet, så fort man rör sig utanför det som hårdvarustöds, och lägger på lite kombinationer, så tappar de snabbt i prestanda. Det är inte tu tal om det. Så som alltid, oavsett vem du handlar router av, och hur mycket du betalar, så måste du kolla detaljerade specar/tester av precis den konfigurationen fungerar. Det skiljer (tyvärr) inte så mycket på om du handlar av Ubiquity för 990:- eller av cisco/Juniper för 1000000:-, caveat emptor gäller i båda fallen.
Cisco räknade in och ut. Dvs hade du 100Mbit full dpplex så blir det ju teoretiskt max 200Mbit data.
Sen när det gäller VPN och Pfsense så var medveten om att den vanligste formen av VPN där är OpenVPN. Den processen är singeltrådad så den kommer inte att nyttja mer än en enda processorkärna per anslutning vad man än gör
...
Så, det är sant att även Ubiquitys produkter inte klarar allt, i alla situationer. De klarar däremot mer än vad de flesta kanske tror. Du nämner exv. routing (jag inbegriper NAT), och brandväggsregler, och vad gäller zstorebrorsan Edgerouter lite så klarar den 1 Gbps med nat + firewall, mha hårdvaruacceleration. ...
Det är väl här det blir lite äpplen mot päron mot apelsiner när man börjar botanisera mellan leverantörerna också, då min förståelse är att de inte alls är ense om vad för funktioner som bör vara påslagna när de gör sina data-blad.
Mikrotiks nuffror är väl t.ex. utan NAT påslaget, medan jag tror (och här får någon gärna rätta mig om jag är ute och velar) att Ubiquitis prestandasiffror har NAT med i sig.
Läget blir väl inte direkt tydligare om man blandar in hårdvaruacceleration eller inte, så jag kan väl köpa att det blir lite förvirring. Däremot kan jag väl känna att för i alla fall de som riktar sig mot konsument-segmentet kunde det väl vara en bra grund att komma överens med varandra (och med varandra menar jag hårdvaruleverantörer som siktar på konsumentmarknaden) om vilka funktioner som ska ingå, och om man ska avaktivera någon form av hårdvaruacceleration eller låta den göra allt vad den kan, så siffrorna blir jämförbara med varandra.
Köp en begagnad Dell R710 för 315 Euro inklusive moms och frakt hem till dörren (även till Sverige):
[länk]
Skaffa dessutom ett eller flera 10 Gbit nätverkskort med SFP+. Fabrikat Chelsio och Mellanox finns på Ebay för några hundralappar. Kör t.ex pfSense. Jag vet inte vilken routing-hastighet man får, men den har 12 kärnor/24 trådar och minnesbandbredden är upp till ca 85 Gbit/s.
En nackdel är att den drar drygt 100W, men man kan ju testa att använda den även som NAS, men det kan förstås stjäla lite kraft från routingen. En annan nackdel är att den har fläktar, så man vill inte ha den i ett rum som man vistas i en längre tid.
[bild]
Dessutom har ingen nämnt VPN ännu. Det vill man köra i routern om man använder det för att komma åt hela sitt nätverk utifrån.
Här är AES-krypterings-hastigheten för ovanstående Dell R710 när den kör ubuntu server:
1 tråd:
test@r710ubuntu:~$ openssl speed aes
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
aes-128 cbc 75590.52k 90390.34k 86857.81k 89612.63k 92768.94k
aes-192 cbc 70757.58k 75614.85k 76998.89k 76759.04k 77133.14k
aes-256 cbc 61250.31k 64966.70k 65638.83k 65531.90k 65811.80k
12 trådar:
test@r710ubuntu:~$ openssl speed -multi 12 aes
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
aes-128 cbc 870799.27k 979990.66k 1003383.38k 1009097.73k 1006589.27k
aes-192 cbc 767492.08k 819811.50k 833328.47k 836746.58k 836468.74k
aes-256 cbc 664304.30k 704147.54k 712115.71k 714172.42k 713719.81k
Fler än 12 trådar ger ingen nämnvärd förbättring
Servershop24 har även några begagnade HP DL380 G6 som kan vara ett alternativ om man vill komma ännu billigare undan. Finns från 225 Euro inklusive moms och frakt. De har 2.5-tums diskar, vilket är en nackdel prismässigt om man vill stoppa i mycket disk. Ovanstående Dell R710 tar 3.5-tums-diskar, som finns till mycket bra pris i stora storlekar.
[länk]
[bild]
Ursäkta en noob-ot fråga. Vad kör man bäst för OS i en sådan Dell burk för privat NAS bruk?
Har en 4-facks Nas som börjar bli lite för trött när man vill lägga in mer funktioner på den. Den Dell ser ut att kunna vara ett fungerande alternativ.
rna används som exempel, och kunde där påvisa i runda slängar 13,5Mpps per kärna. Det skulle innebära att om prestandan är någorlunda linjär, vilket är en av fördelarna jag förstått att DPDK bidrar med, så skulle R710:an i runda slängar klara av att routa full 40gbit/s åt båda hållen med 2 x 6 kärnor. Sen är väl frågan vilka features som var av/på i samband med mätningen, och vilka features man sen önskar, med avseende på brandväggar och VPN, etc.magebarf skrev:
FG skrev:
