Tốc độ download từ eSnips?

uuie
17-09-07, 01:06
Chào các bác,

Em muốn hỏi tại sao khi download từ eSnips, có lúc nó cho phép IDM tạo ra cả chục kết nối và có thể resume (hình 1), nhưng lúc khác lại chỉ cho phép tạo 1 kết nối và không có quyền resume (hình 2).

Hình 1:

http://img442.imageshack.us/img442/8486/11lb1.jpg


Hình 2:

http://img515.imageshack.us/img515/730/12oh8.jpg


Em nghĩ có thể vấn đề nằm ở account, vì tình trạng này xảy ra theo từng account chứ không phải khác nhau giữa các file mà mình muốn download hay thời điểm download.

Nhìn vào cái link mà IDM capture được có thể thấy sự khác nhau giữa cdn và id. Nhưng em không giải thích được tại sao có sự khác nhau này.

Các bác làm ơn giúp em ;)

Em cảm ơn các bác!
Gu'
17-09-07, 11:36
2 hostnames này thuộc 2 IP, 2 web server application khác nhau (rất nhiều khả năng là 2 computer server khác nhau luôn). Vì thuộc 2 web server applications khác nhau cho nên cũng dễ hiểu khi thấy phần config về connection and resume capability ko giống nhau
uuie
17-09-07, 13:21
Em cảm ơn bác Gu'.

Nhưng em không hiểu tại sao bọn eSnips lại để config rất khác nhau như thế nhỉ? Khi em download các file từ một account A, tốc độ luôn rất nhanh, nhưng lúc download từ account B thì lúc nào cũng chậm. Không lẽ bọn nó có chính sách phân biệt đối xử giữa các account?
wasabi
17-09-07, 13:27
Cái hình chụp của bác, cái địa chỉ có CDN đằng trước thì cho resume, mà cái www thì không. Em giải thích tạm như thế này.

CDN stands for Content Delivery Network - nó thực ra không phải là server của esnips mà là của esnips thuê lại của các Content Delivery Network ví dụ như là Akamai hay Cachefly, Amazon S3 vân vân. Họ cần sự giúp đỡ của các Content Distributors bởi vì nature của Web là một kết nối thì chỉ phân tán được nội dung cho 1 người 1 lúc, thế cho nên với các site lớn có lượng truy cập khủng khiếp như Yahoo Video, Google Video, Esnips và có cả Youtube nữa, họ không thể nào có thể có được infrastructure đủ rộng và đủ mạnh để phục vụ lưu lượng lớn không thể tưởng tượng ấy được. Giải pháp ở đây là phải nhờ đến một công ty khác có mạng lưới phân tán nội dung (CDN), với một hạ tầng cực mạnh và mạng lưới phân tán trên toàn cầu để đảm bảo kết nối nhanh nhất đến nơi cần phân tán, bằng cách cache các nội dung tĩnh lại tại server của CDN, rồi redirect các request yêu cầu phục vụ nội dung tới địa chỉ của CDN tương ứng.

Các server của CDN rất mạnh và thường là chỉ phục vụ nội dung tĩnh, đó là điều dễ hiểu tại sao mà server CDN thì có thể cho phép resume (tức là cho phép nhiều kết nối tới nó để request cùng 1 file 1 lúc) - còn các server phục vụ nội dung động tại trụ sở của eSnips thì không, bởi vì việc cho phép nhiều kết nối request cùng 1 file đó sẽ tiêu tốn rất nhiều tài nguyên băng thông (ko phải băng thông tổng mà là băng thông throughput) của eSnips.

Đó cũng là cách làm của upload.thanhnienxame.net, em cache các file mà các bác tải lên tại Amazon S3, rồi chuyển các yêu cầu (/downloadRequest/11823434234 ví dụ thế) về cái file đã được cache trên Amazon, thì dù file có to và nặng bao nhiêu cũng không ảnh hưởng đến lưu lượng của diễn đàn.

Câu hỏi thứ 2 của bác, về việc tại sao lúc thì bác download ở chỗ này, lúc ở chỗ kia, em chỉ phỏng đoán rằng esnips có một thuật giải để tính toán lúc nào cần cache nội dung trên CDN bởi vì việc cache nội dung trên đấy sẽ tốn thời gian và đơn giản là tốn tiền trả cho CDN nếu cái file ấy chỉ có 2 - 3 người nghe, nếu nó phục vụ trực tiếp từ các server của nó sẽ đơn giản hơn nhiều. Em nghĩ một cái bài hát, nếu nó đạt được đến 1 mức popularity nào đó thì esnips sẽ bắt đầu cache nội dung của bài hát đó đến CDN rồi chuyển tất cả các yêu cầu nghe của bác tới CDN.

Tạm thế. Hơi rắc rối nhưng chắc là sẽ khá thú vị với bác.
uuie
17-09-07, 13:48
Em nghĩ phần giải thích của bác wasabi là khá rõ ràng và dễ hiểu đối với em.

Phỏng đoán của bác về thuật giải để cache nội dung trên CDN của bọn eSnips có lẽ là chính xác. Em vừa thử lại xong, và thấy đúng là với những file có số lượt view lớn, tốc độ download sẽ rất nhanh, trong khi những file có ít người view, tình trạng download y hệt như cái hình 2 ở trên. Ngoài ra, nếu một account nào đó được nhiều người xem thì đa số các file của account đó đều có số lượt view lớn, và ngược lại. Mức độ popularity mà eSnips sẽ bắt đầu cache nội dung của một file lên CDN có thể là từ 50 views trở lên.

Rất cảm ơn bác wasabi!
wasabi
17-09-07, 20:51
Nói thêm 1 tý.

Gần đây việc nở rộ các site Video hay Audio trực tuyến làm cho các CDN làm ăn phát tài như diều gặp gió. Nhìn vào giá cổ phiếu có akamai có thể thấy điều ấy:
http://upload.thanhnienxame.net/downloadRequest/1190036727_akam.png
Từ giá cổ phiếu $2 bây giờ AKAM đã lên $30 thậm chí lúc đỉnh đã đạt đến $60 một cổ phiếu, như vậy là gấp 15 lần! Ở Việt Nam do nhu cầu tự sướng phục vụ dân mình nên em chưa thấy có một biếu hiện significant nào là ai đã think gobally dùng các CDN để distribute các nội dung multimedia, mà chủ yếu dựa vào các server đặt ở Việt Nam "cây nhà lá vườn".

Gần đây em có nghe đồn về công nghê DNA của Bittorrent Inc. để dùng peer to peer to act as a big CDN, nhưng mà hầu như chưa có implement nào thực tế và Bittorrent Inc. cũng chẳng đưa spec về công nghệ này rộng rãi cho mọi người cùng nghiên cứu nên thực sự là cũng phải hold the breath để xem DNA có làm gì được không. Em sẽ rất excited to try out cái công nghệ này và các bác cứ yên tâm, nếu nó hay thì Thăng Long... sẽ thành nơi download movie cả ngày. Khà khà.
CuteguB
18-09-07, 09:11
Yahoo dùng chú Akamai thì phải, thỉnh thoảng vào Yahoo thấy status ở dưới connect đến Akamai.

Nhân tiện Bi nói đến mấy cái CDN, cho hỏi là nếu dùng Amazon S3 để backup dữ liệu thì công cụ nào tốt nhất. Em mò thử cái S3fox với cái j3set, thì thấy upload các thứ ngon, chỉ có cái sync thì hơi khó dùng.
Ah em dùng Windows.
Prototay
18-09-07, 10:24
file cần download nằm ở server khác, cái này giống như mua thêm 1 hoặc nhiều chỗ nữa để làm kho chứa chứ mình thấy đâu có gì lạ đâu bạn Bi. Hay là cách phân tán file của mấy server kia nó có gì đó độc đáo hơn?
wasabi
19-09-07, 19:03
Em đang dùng Salsa để quản lý file trên S3, Salsa là một ứng dụng AIR (Adobe Intergrated Runtime) - nên bác cần cài AIR Runtime trước. Khá được.

Còn về thắc mắc của bác Prototay, thì một điểm rất quan trọng là ở chỗ này: http://www.akamai.com/html/technology/dataviz2.html Hơn nữa actutally dùng cách dịch vụ của các CDN sẽ làm cho nhà cung cấp nội dung Multimedia giảm chi phí, tại vì người ta có infrastucture và công nghệ chuyên dụng nữa. Tóm lại vừa tăng hiệu năng, vừa giảm chi phí. Em xin hết ạ.
Prototay
19-09-07, 21:05
Ra là vậy. Thấy akamai có những 30 cái địa điểm khác nhau trên quả đất, nhưng có khi nào nó gạt mình không nhỉ?! Có cách nào để kiểm tra là thời gian trễ và số thông tin bị mất kia là thật hông Bi?

Nếu như được như nó nói thì việc thuê nó lưu file giúp để download hay quá rồi còn gì.