150 TB von Videos ausliefern wie?

[Seli99]

hab den Beitrag überarbeitet:


Aktueller Stand:

- Wir liefern HD Videos auf einem nginx-Server aus HP DL180G6/2x Intel Xeon E5504 (Debian 7.0)
Derzeit 100 TB Traffic und steigend

- Network: 1GB Connection
Speedtest: Download 920 Mbit/s, Upload: 500Mbit/s

- 12 x 1TB SATA2 (7200RPM) Platten (Raid 10)
Speedtest:
Timing cached reads: 6852 MB in 2.00 seconds = 3427.43 MB/sec
Timing buffered disk reads: 1438 MB in 3.00 seconds = 478.92 MB/sec

Videos:
- HD Videos 720p => 1500Kbps
(knappe 6TB Videos)


Problem:
- Server kommt an seine Leistungsgrenzen in Spitzenzeiten am Abend: (munin)
- 500 Mbit Upload werden für kurze Zeit erreicht
- Disk latency per device geht zeitweise über 100ms (warning von munin)
- Utilization per device - by day: liegt 12 stunden am Tag bei 95-100%


Mögliche Lösungen:
- CDN verwenden: die günstigsten CDN sind für 150TB bei 4500€
- Zweiter Server: Traffic manuell umleiten (Bestimmte Video Urls sollen auf zweiten Server zeigen)
- Zweiter Server mit LoadBalancer (Hardware oder Software)

Anforderungen:
- 150TB Traffic im Monat und steigend
- 6 TB Videos
- 90% Deutschland, 10% Rest von Europa

Kennt jemand andere Lösungen bzw. günstige Server welche hohe Bandbreiten zulassen, großen Speicher bieten und schnelle Festplatten haben?

 

[Globi]

150 tb pro minute, pro stunde, pro tag, pro woche ......
deine frage ergiebt so absolut kein sinn.

im moment kann ich dir nur sagen, du brauchst ne grosse festplatte

 

[Seli99]

Pro Monat.
Gibt es Server mit solchen Festplatten? Wo

 

[nicnac]

150 tb pro minute, pro stunde, pro tag, pro woche ......
deine frage ergiebt so absolut kein sinn.

im moment kann ich dir nur sagen, du brauchst ne grosse festplatte

steht doch da: im Monat

 

[Trickser]

Pro Monat.
Gibt es Server mit solchen Festplatten? Wo

Ja bekommst du alles bei EMC | Cloud Computing, Data Storage, IT Security & Big Data

 

[Seli99]

Ja bekommst du alles bei EMC | Cloud Computing, Data Storage, IT Security & Big Data

es gibt ja viele Anbieter. Aber die meisten stellen Server zur Verfügung die nicht zum Ausliefern von Videos geeignet sind! Ein Videoserver muss viele Daten ausliefern können und schnell! Sonst eher nichts.

 

[Trickser]

Dazu mietet man sie Racks im RZ und stellt sich seine Hardware Vorort selber hin.

 

[Globi]

steht doch da: im Monat

ja, jetzt schon

hab den Beitrag überarbeitet:

 

[blackmexx]

Möglichkeiten gibt es viele mit einem Server wirst du hier aber nicht hinkommen da muss die Last verteilt werden.
Eine andere Frage wäre was verstehst du unter günstig bei dieser Konstellation

 

[Seli99]

Möglichkeiten gibt es viele mit einem Server wirst du hier aber nicht hinkommen da muss die Last verteilt werden.
Eine andere Frage wäre was verstehst du unter günstig bei dieser Konstellation

Mit günstig meinte ich, aktuell haben wir zb 1000 euro Umsatz und 600 Serverkosten.
Wenn ich jetzt anstatt Server eine CDN nehme würde das ca. 4500 euro im Monat kosten... aber der Umsatz ja gleich bleiben und das lohnt sich das dann nicht.

 

[Schmutziger alter Mann]

Ruft man da nicht am besten in so einer Serverfarm an und fragt was die einem anbieten können? Ich glaube das ist der Weg. Der Typ dem ihr jeden Monat 600 Tacken in den Hals schiebt müsste doch sehr daran interessiert sein euer Problem zu lösen.

 

[Globi]

eben nicht, wenn er die 600 eh bekommt, und fuer viel arbeit und teile dann doch nicht mehr kohle bekommt.
dem ist doch cdn auf mehreren servern recht

 

[mrauskr]

Wenn ihr mit 150 TB Traffic insgesamt 1000,- Umsatz erziehlt ist der Server nicht das einzige Problem.
Sollte der Traffic noch ansteigen und das alles noch zügig ausgeliefert werden braucht ihr einen Loadbalancer.
Bestimmte Videos manuell auf einen anderen Server auszulagern würde bedeuten das ihr ständig kontrollieren müsst welches Video wie oft geladen wird und die Last dann von Hand auf unterschiedliche Server verteilen.
Wenn sich die Hitliste dann ändert müssen Videos wieder hin und her geschoben werden.

 

[Schmutziger alter Mann]

Ich glaube dieses Problem habe einige. Die großen Tubes blenden in Spitzenzeiten ein Bild ein. "Sorry, wir sind überlastet, schau in ein paar Minuten wieder vorbei"
Wahrscheinlich die günstigste Alternative, denn so wie ich das hier verstehe läuft die Sache doch rund, bis auf ein paar Grenzfälle am Tag.

 

[thommy]

Wenn ihr mit 150 TB Traffic insgesamt 1000,- Umsatz erziehlt ist der Server nicht das einzige Problem.
Sollte der Traffic noch ansteigen und das alles noch zügig ausgeliefert werden braucht ihr einen Loadbalancer.
Bestimmte Videos manuell auf einen anderen Server auszulagern würde bedeuten das ihr ständig kontrollieren müsst welches Video wie oft geladen wird und die Last dann von Hand auf unterschiedliche Server verteilen.
Wenn sich die Hitliste dann ändert müssen Videos wieder hin und her geschoben werden.

das problem ist hier eher, dass der traffic noch viel zu wenig ist. denn genau an solchen grössenordnungen fängt das problem an, dass man noch zu klein für die guten preise ist und zu gross für die schlechten.
beim wachstum ist der mit abstand schwierigste punkt deshalb kurz vor der mitte.

mit 10 fachem traffic liegen die kosten vielleicht beim doppeltem und mit 100 mal mehr traffic beim 10-fachen.
ab so einer grösse muss man dann auch nichst mehr händisch verschieben oder loadbalancen, weil dann CDN-netzwerke ins spiel kommen, die sich die videos im RAM von zig auslieferungsmaschinen halten.

hier hilft einfach nur vorfinanzieren oder durchmogeln bis man entsprechend gewachsen ist. und was auf jeden fall hilft ist, sich auf messen die kontakte zu suchen, die man dazu braucht, denn da gibts jede menge kompetente spezialisten, die eben NUR DAS tun und das tun sie RICHTIG.

viel spass im netz

thommy

 

[Globi]

und was auf jeden fall hilft ist, sich auf messen die kontakte zu suchen, die man dazu braucht, denn da gibts jede menge kompetente spezialisten, die eben NUR DAS tun und das tun sie RICHTIG.

nicht unbedingt.
hab mal ne nutte von ner messe mitgenommen, die hatte auch nur das eine gemacht, aber war nix wert!

 

[thommy]

nicht unbedingt.
hab mal ne nutte von ner messe mitgenommen, die hatte auch nur das eine gemacht, aber war nix wert!

lol - dann warte aber nicht auf ner nuttenmesse, denn sonst hättest du ja mehr auswahl gehabt.

viel spass im netz

thommy

 

[Globi]

ne, ne ganze messe voller nutten ?
ne danke, du kennst das bestimmt auch, da kannst dich den ganzen abend nicht entscheiden, und suchst immer eine noch bessere, und ploetzlich sind alle weg, und es bleibt dir nix uebrig ausser dich zu besaufen ....

 

[thommy]

ne, ne ganze messe voller nutten ?
ne danke, du kennst das bestimmt auch, da kannst dich den ganzen abend nicht entscheiden, und suchst immer eine noch bessere, und ploetzlich sind alle weg, und es bleibt dir nix uebrig ausser dich zu besaufen ....

das kenne ich nur zu gut. du weisst doch dass ich ein paar immobilien in thailand habe und deshalb sehr oft dort bin. da gehts mir jedes mal GANZ GENAU so - weil pattaya ist ja irgendwie so die grösste nuttenmesse der welt.

viel spass im netz

thommy

 

[Globi]

lol, ja pattaya is krass, weil ploetzlich ist es 4.00, und alle rennen davon. dann sind nurnoch moenche auf der strasse, und die kann man nicht ins hotelzimmer bringen, weil sie keine ausweise dabei haben