Mega control en WOS

Emuladores y aplicaciones que ayudarán a la perpetuación del Spectrum y su software en el futuro

Moderador: Sir Cilve Sinclair

elfoscuro
Herbert
Mensajes: 65
Registrado: Mar Nov 24, 2009 7:16 pm

Mega control en WOS

Mensaje por elfoscuro » Mar Dic 01, 2009 10:54 pm

Bueno, os cuento.

Estoy recopilando material Spectrum que tengo por los armarios (el espacio empieza a escasear), y he empezado cogiendo mis cintas C60 y C90 para borrarlas (irán a la basura seguro). Mi idea ha sido irme a WOS a bajarme todos los juegos que tenía cada cinta.

Bien, al ir a empezar he usado flashget con la opción descargar todo. En esa opción he seleccionado sólo los enlaces FTP y le he dado a iniciar descarga. Decir que tengo el flashget en 2 descargas, peeeero se me ha ido un detalle: tenía marcado trocear en 5 trozos.

Resultado: baneo después de descargar la friolera de 5 ficheros. La verdad, no se que hace una persona poniedo descargas autobaneo en su página. Primero que si bajas muy deprisa (vamos, que en los tiempos de 6 Mb de bajada, te baneen por bajar muy deprisa, manda narices), luego que si abres muchas sesiones... No se, limita la descarga pero no banees a la primera de cambio...

No se como lo veis, pero, la verdad, me parece ridícula la actitud de Martjin.

¿Qué opinais?

Un saludo.

Avatar de Usuario
winston
Sabreman
Mensajes: 469
Registrado: Mar Ago 19, 2008 4:17 pm
Ubicación: Isla de Man
Contactar:

Re: Mega control en WOS

Mensaje por winston » Mié Dic 02, 2009 1:08 am

No creo que te excluya para siempre, si has excedido el limite, se desbloqueará tu dirección tras de 24 horas.

La verdad es que Martijn es el dueño del servidor (es decir, es su propio hardware - servidor, router etc - con una conexión al internet muy cara - no es ADSL barato sino un servicio de "colocation") y en años pasados ha sufrido ataques del tipo "denial of service". Por eso el servidor tiene mecanismos automáticos para prevenir estes ataques. Su política (en mi opinión) es totalmente razonable. Lo sé que a veces es una tarea bastante pesada porque tengo mi propio servidor de internet. Si fuera Martijn, también tendría limites automáticos por las mismas razones. Como operador de un servidor, no me gustan los "download managers" y cosas así.

Los limites de WOS son bastantes altos - podemos descargar hasta 250 ficheros cada sesión, y hasta 5.000 ficheros al día. A mí no me puedo quejar.

(La política de uso aceptable está aquí en castellano - http://www.worldofspectrum.org/archivenote_es.html )
Tarjeta ethernet para el Spectrum - http://spectrum.alioth.net/doc

Debemos practicar un quirkafleeg

sromero
Nonamed
Mensajes: 1221
Registrado: Mar Abr 17, 2007 12:35 pm
Ubicación: Valencia
Contactar:

Re: Mega control en WOS

Mensaje por sromero » Mié Dic 02, 2009 9:53 am

elfoscuro escribió: Mi idea ha sido irme a WOS a bajarme todos los juegos que tenía cada cinta.


Si son grabadas, mira primero que no tengan ningún programa del que no exista copia digital, aunque no sea un tzx del original mejor tener un tzx "no original" de un juego que no tener nada...

Bien, al ir a empezar he usado flashget con la opción descargar todo. En esa opción he seleccionado sólo los enlaces FTP y le he dado a iniciar descarga. Decir que tengo el flashget en 2 descargas, peeeero se me ha ido un detalle: tenía marcado trocear en 5 trozos.

Resultado: baneo después de descargar la friolera de 5 ficheros. La verdad, no se que hace una persona poniedo descargas autobaneo en su página. Primero que si bajas muy deprisa (vamos, que en los tiempos de 6 Mb de bajada, te baneen por bajar muy deprisa, manda narices), luego que si abres muchas sesiones... No se, limita la descarga pero no banees a la primera de cambio...

No se como lo veis, pero, la verdad, me parece ridícula la actitud de Martjin.

¿Qué opinais?


Opino que me parece perfectamente normal.

Nosotros tenemos un hosting (speccy.org) con muchas webs, y te puedo asegurar que no hace gracia que:

  • Llegue alguien, ponga el webdownloader o similar a toda pastilla, y se te coma el ancho de banda completo, pasando a ir todo mucho más lento y a afectar a las webs y servicio de otros usuario.
  • Lleguen un par ese mes que se lo quieren bajar todo, y excedas el tráfico mensual contratado, y encima que das un hosting gratuito a la gente, te toque PAGAR el exceso de ancho de banda consumido.

Para evitar ese tipo de cosas, lo más normal es que se tome una de 2 opciones:

  • Hablas con el webmaster de la web en cuestión y le dices en un correito, básicamente "Hola, me quería descargar tal cosa, ¿en qué horario lo puedo hacer para no afectar? ¿Me puedes habilitar mi IP para que me lo baje todo? ¿Hay algún otro recurso del que bajarse todo el material?
  • Vas a los foros y preguntas, y seguro que alguien te puede compartir o enviar físicamente los cds o dvds necesarios de material.

WOS está como está ahora mismo (con límites de descarga) precisamente por culpa de los abusos que sufrió en el pasado. A ver si de verdad crees que a los webmasters les gusta poner contenido y luego limitarlo. Se limita porque si no se hace, llega alguien, deja el flashget toda la noche a todo trapo, con su ADSL de 3MB (por decir algo) y se come los 300 o 512 Kbps de subida que tiene el servidor contratado, impidiendo que nadie pueda visitar las webs o descargarse algo. Súmale que esto no ocurre con 1 sólo usuario, sino que pueden pretender hacerlo 2, 3, 10, o 50, y ya me dirás.


(vamos, que en los tiempos de 6 Mb de bajada, te baneen por bajar muy deprisa, manda narices),


Tú ahí sólo estás contando tu bajada, te estás olvidando de la subida del servidor. La subida es mucho más cara que la bajada, y siempre está más limitada. A lo mejor WOS tiene 1 mega de subida y está uno dándole caña con sus 4 megas de bajada y lo deja torrado ... y encima no es uno, es que pueden ser 2, 5 ó 10 a la vez bajándose cosas.

Al final no hay más remedio que limitar, por el bien de la salud mental del administrador ...

WOS es para consultar y descargar material, no para descargas masivas. No es un "ftp de descargas masivas", es un centro para recopilar información para su consulta y descarga.

Creo que te sería más sencillo preguntar en los foros y que alguien, por 2 ó 3 euros de coste, te pueda enviar un CD o un DVD con todo el material que necesites. O tal vez hablar con Martjin, y que te abra temporalmente el filtro a tu IP para que lo puedas descargar ... pero teniendo en cuenta los gigas y gigas de datos que hay en WOS... a saber si podrá / querrá.

Un saludo.
NoP / Compiler

elfoscuro
Herbert
Mensajes: 65
Registrado: Mar Nov 24, 2009 7:16 pm

Re: Mega control en WOS

Mensaje por elfoscuro » Mié Dic 02, 2009 6:37 pm

No me entendeis. Se que debe haber filtros cuando es algo que no está digamos "profesionalizado". Yo sería el primero. Lo que digo es que no es una cuestión de baneo.

Seguro que hay algún filtro para que una IP pueda bajar a una velocidad máxima, o para que habra varias sesiones X, pero no más. En ese caso, se le deniega la entrada a lo que supere tus límites, pero dejas el mínimo abierto. Si puedo bajar 5 archivos a la vez, si intento un sexto, no me baneas 24 horas (bueno, hasta las 12 de la noche, que esta mañana ya bajaba otra vez). Simplemente, cualquier intento de sobreapasar ese límite, se deniega.

El autobaneo lo veo como medida anti DoS, pero no como regla general. Vamos, que no se nos puede tratar a todos como terroristas ;-)

En cuanto a la velocidad de bajada, me refiero a un punto concreto de las "reglas" que tiene WOS. Antes (imagino que ahora también), si bajabas más K/s de una cantidad, te baneaba el servidor. Había hasta fórmulas en las que te indicaba el máximo que no se que y tal... El problema es que si por un lado intentabas bajar el máximo (5 conexiones), pero con un ancho de banda grande (ya me pasaba con 3 Mb), acababas baneado en un santiamen. Com ejemplo, estar bajando dos libros, y a la vez entrar en varios juegos con "Abrir en nueva ventana". Como los SCR y fotos de las fichas de los juegos son conexiones al FTP, abrias 4 ventanas y la 5 ya te tiraba. Y yo no veo un uso desproporcionado en este ejemplo.

Repito, no estoy en contra de las limitaciones, sobre todo si están dirigidas a proteger su servidor o su dinero, pero siempre he creido que las que hay son, o extremas, o mal encaminadas. Creo que hay medios para limitar de otra manera (por ejemplo lo que he dicho, limitar la bajada por IP a una velocidad).

De todas formas, esto creo que no es debatible. Martjin hará lo que quiera, al fin y al cabo ;-)

Saludos.

sromero
Nonamed
Mensajes: 1221
Registrado: Mar Abr 17, 2007 12:35 pm
Ubicación: Valencia
Contactar:

Re: Mega control en WOS

Mensaje por sromero » Mié Dic 02, 2009 7:10 pm

elfoscuro escribió:En cuanto a la velocidad de bajada, me refiero a un punto concreto de las "reglas" que tiene WOS. Antes (imagino que ahora también), si bajabas más K/s de una cantidad, te baneaba el servidor. Había hasta fórmulas en las que te indicaba el máximo que no se que y tal... El problema es que si por un lado intentabas bajar el máximo (5 conexiones), pero con un ancho de banda grande (ya me pasaba con 3 Mb), acababas baneado en un santiamen. Com ejemplo, estar bajando dos libros, y a la vez entrar en varios juegos con "Abrir en nueva ventana". Como los SCR y fotos de las fichas de los juegos son conexiones al FTP, abrias 4 ventanas y la 5 ya te tiraba. Y yo no veo un uso desproporcionado en este ejemplo.

Repito, no estoy en contra de las limitaciones, sobre todo si están dirigidas a proteger su servidor o su dinero, pero siempre he creido que las que hay son, o extremas, o mal encaminadas. Creo que hay medios para limitar de otra manera (por ejemplo lo que he dicho, limitar la bajada por IP a una velocidad).


Holas.

Hombre, antes las limitaciones eran menores, es decir, era menos restrictivo. Si Martjin ha tenido que ir haciendo las limitaciones más y más estrictas, debe de ser por algo ...

Sería curioso que nos comentara el cómo ha llegado a tener que limitar esto. Seguro que hay razones para ello. Dudo mucho que nadie que se pegue la PANZADA de trabajo que se pega Martjin luego no quiero dar libre acceso a su material. Debe de haber razones de peso, seguro.

Creo que alguno por ahí también transita por los foros de WOS, y se lo podría preguntar en formato "duda informativa". Al menos, a mí me gustaría saberlo sólo por saber, históricamente, la de burradas que le habrán hecho contra el servidor para tener que llegar a eso.

saludos.
NoP / Compiler

elfoscuro
Herbert
Mensajes: 65
Registrado: Mar Nov 24, 2009 7:16 pm

Re: Mega control en WOS

Mensaje por elfoscuro » Mié Dic 02, 2009 7:49 pm

Solo para que te hagas una idea de como es de restrictivo:

Entorno:
Flasget limitado a dos conexiones simultaneas.
UNA venta de IE cargando los juegos de mi cinta C60, así, mientras va bajando uno voy preparando el otro.
Juegos en la cinta: 12
Juegos descargados: 9

Ya estoy baneado de nuevo.

Bajo los juegos diciendole al flashget que baje toda la página, y luego, de la lista que me sale de "descargable" selecciono sólo los "ftp://...". Máximos ficheros por juego, no superan los 15-20.

Estadísticas:
140 archivos descargados
18 Mb

Y ya estoy baneado de nuevo, como ayer. Ha ido algo mejor. Ayer sólo pude descargar 5 archivos.

A esto me refería. Creo que no he incumplido nada (ni los 250, ni los 5 máximo...), pero ya soy un ftp-abuser.

No se como lo vereis los webmasters, pero desde el punto de vista del usuario, no es racional.

Un saludo

Jose Manuel
Sabreman
Mensajes: 459
Registrado: Mar Abr 17, 2007 1:25 pm
Ubicación: Madrid
Contactar:

Re: Mega control en WOS

Mensaje por Jose Manuel » Mié Dic 02, 2009 10:29 pm

elfoscuro escribió:No se como lo vereis los webmasters, pero desde el punto de vista del usuario, no es racional.


¿No será que no sabes usarlo adecuadamente?

Usa un programa de transferencia por ftp (yo uso el ws_ftp), entras en el servidor ftp.worldofspectrum.org, y con un solo fichero simultaneo de bajada, no más, selecciona el directorio que quieras y bajatelo, cuando lleves 250 te echará, pero no te baneará. No importa los megas bajados y puedes volver a entrar.

Saludos, J.M:
El Trastero del Spectrum
http://trastero.speccy.org/

elfoscuro
Herbert
Mensajes: 65
Registrado: Mar Nov 24, 2009 7:16 pm

Re: Mega control en WOS

Mensaje por elfoscuro » Jue Dic 03, 2009 8:01 am

Falvarez, entiendo tu postura como webmaster, pero, ni me considero uno de esos cuatro "listos de siempre", ni entiendo como llegas a ese "cabreo" con los usuarios. Cierto que no soy webmaster. Creo que estoy haciendo un uso muy razonable de la página. Uso el gestor de descargas por comodidad. Me ahorro bastantes clicks en cada juego, la verdad. Además, en la política de la página, que yo sepa, no pone que esté prohibidos.

José Manuel, es que yo no quiero bajarme todo WOS. Sólo me bajo todos los ficheros de los juegos que estoy borrando. Me interesa hacerlo por web, ya que así lo bajo ordenado. Entrar por ftp, a no ser que quieras bajar a saco el site, no lo usaría.

En fin, iré más poco a poco. Solo descargaré con el flashget uno a uno, limitaré la bajada a 50k/s, cuando se descargue todo un juego iré con el IE a buscar el siguiente... a ver si así puedo bajarme una cinta C60 entera sin acabar baneado.

En todo caso, pido al moderador que si lo considera, que cierre el hilo, porque me parece que los webmasters en general veis con muy malos ojos que los usuarios descarguen muchas cosas. Por las respuestas que he recibido a mi "lloro", creo que este hilo no puede acabar muy bien. Sólo trataba de haceros ver que, incluso cumpliendo a rajatabla las políticas de WOS, a poco que quieras bajar algo más que un fichero, acabas baneado. A los hechos me remito (ver mi anterior mensaje).

Un saludo.

Avatar de Usuario
jevilon
Manic Miner
Mensajes: 288
Registrado: Mié Jul 23, 2008 1:15 pm
Ubicación: La Rioja

Re: Mega control en WOS

Mensaje por jevilon » Jue Dic 03, 2009 8:57 am

Creo que lo mejor en estos casos es buscar por P2P una coleccion de Spectrum, así ya lo tienes en tu PC y luego copias a otra carpeta los que realmente te interesen.

sromero
Nonamed
Mensajes: 1221
Registrado: Mar Abr 17, 2007 12:35 pm
Ubicación: Valencia
Contactar:

Re: Mega control en WOS

Mensaje por sromero » Jue Dic 03, 2009 9:15 am

elfoscuro escribió:me parece que los webmasters en general veis con muy malos ojos que los usuarios descarguen muchas cosas.


No, no, para nada.

Los webmasters subimos contenido para que la gente se lo descargue.

El problema son ese tipo de programas que, pensados para descargas masivas, realizan múltiples conexiones concurrentes e intentan optimizar la descarga, muchas veces en base a dejar seco el servidor.

Por las respuestas que he recibido a mi "lloro", creo que este hilo no puede acabar muy bien.


No hay ningún problema. Siempre que se trate todo con educación, no tiene por qué acabar mal. Es imposible que todo el mundo piense igual, así que siempre hay 2 puntos de vista y cada uno tiene derecho a exponer el suyo. Sin problema.

saludos.
NoP / Compiler

Avatar de Usuario
winston
Sabreman
Mensajes: 469
Registrado: Mar Ago 19, 2008 4:17 pm
Ubicación: Isla de Man
Contactar:

Re: Mega control en WOS

Mensaje por winston » Jue Dic 03, 2009 11:52 am

elfoscuro escribió:Creo que estoy haciendo un uso muy razonable de la página. Uso el gestor de descargas por comodidad. Me ahorro bastantes clicks en cada juego, la verdad. Además, en la política de la página, que yo sepa, no pone que esté prohibidos.


El problema es así - lo que los usuarios parecen que es uso muy razonable puede matar un servidor de web con facilidad si hay más de 2 ó 3 usuarios que están usando herramientas tales como "download optimizers", flashget, o lo que sea. Es común que los usuarios no se dan cuenta que sitios tales como WOS o speccy.org corren en sólo 1 servidor, con sólo una conexion a internet, y estes servidores tienen que servir decenas de usuarios al mismo tiempo.

Los problemas para servidores pequeños han aumentado. Hace 5 años, la conexión ADSL típica tenía 512k de descargar, y 256K de subir. Un servidor como WOS tenía 10Mbps de subir. Pero hoy en día, en mi casa no tengo 512k de descargar - tengo 16Mbps (y cuesta menos dinero que el 512k del año 2003). Pero...el servidor todavía tiene 10Mbps de subir. Los precios de las conexiones para servidores no han bajado mucho en los años recientemente, pero los precios de ADSL se han desplomado. Significa que hoy - cada usuario tiene el poder para matar el servidor de WOS. Por eso, es necesario limitar las conexiones que cada usuario puede hacer. No somos rtve.es o la BBC, con decenas de servidores y conexiones muy gordas - los servidores que tenemos no pueden tolerar más que uno ó dos conexiones por usuario - y además, con frecuencia - nuestras conexiones tienen menos ancha de banda para subir que una conexión de ADSL tiene para descargar.
Tarjeta ethernet para el Spectrum - http://spectrum.alioth.net/doc

Debemos practicar un quirkafleeg

utopian
Manic Miner
Mensajes: 219
Registrado: Jue May 10, 2007 2:28 pm

Re: Mega control en WOS

Mensaje por utopian » Jue Dic 03, 2009 12:03 pm

Pensando desde fuera (no soy webmaster, pero entiendo las limitationes con las que tiene que trabajar Martjin) creo que es muy posible que el baneo se deba al "patrón de uso" del gestor de descargas.

Tal y como lo describes, pones con el flashget una lista de ficheros para que te los baje del tirón. Es posible que te esté cortando precisamente por no esperar un cierto tiempo entre descarga y descarga (comportamiento típico de programa automatizado), o que directamente esté capando al cliente ftp que se identifique como un gestor.

Supongo que sólo Martjin te puede contar la técnica concreta que está usando, pero teniendo en cuenta los problemas a los que tiene que enfrentarse, entiendo que tome medidas drásticas. Mi consejo sería que pasases de gestor de descargas, y te fueses con un cliente FTP normal y corriente (o el propio navegador) a bajarte los archivos uno por uno. Lento y pesado para tí, pero mejor para el servidor.

Avatar de Usuario
na_th_an
Nonamed
Mensajes: 1889
Registrado: Lun May 07, 2007 10:16 am
Ubicación: Andalucía

Re: Mega control en WOS

Mensaje por na_th_an » Jue Dic 03, 2009 12:54 pm

Además, los gestores de descarga, por defecto, suelen acelerar la descarga estableciendo varias conexiones por archivo. Si no has configurado esto, es probable que tu gestor esté haciendo de dos a cinco conexiones cuando tú te crees que sólo hace una.

Lo bueno es usar un buen gestor de descarga que sea totalmente configurable, como jdownloader. Ahí le fuerzas a hacer una única conexión por archivo, y además le especificas que deje esperar un tiempo entre descarga y descarga. De ese modo, es como si fueses tú el que va cliqueando en cada enlace, y el servidor no se sentirá "abusado".

Responder

¿Quién está conectado?

Usuarios navegando por este Foro: No hay usuarios registrados visitando el Foro y 12 invitados