Migracja forum

[da]

Jak już mamy forum, to dobrze w sumie używać go do rzeczy w których fora są lepsze od discordów, czyli to organizowania informacji i dyskusji na określony temat w jednym miejscu. Robienie kopii forum jest w sumie przedsięwzięciem które wymaga pewnej organizacji i podziału zadań.

Dla przypomnienia - rotu ma już zrzucone dane wszystkich postów w "najdłuższym wątku na forum" (v.2 z tego co pamiętam?) i musi wykombinować jak je przekonwertować do bazy danych tego forum.

Problem z resztą wątków jest taki że mi się nie chce odpalać skryptu dla każdego z kilkuset wątków na forum. Gdybym miał je jakoś posegregowane jako listę adresów URL, byłbym to w stanie zrobić bardzo łatwo. (Napisanie skryptu który przeklikuje przez wszystkie działy i zbiera posty to mniej więcej tyle wysiłku co napisanie skryptu który zbiera posty jeszcze raz, czyli kilka dni roboty dla mnie.)

W takim razie chciałbym poprosić nietechnicznych ochotników o pomoc - potrzebuję po prostu kilkunastu plików txt w stylu M Mi.txt, Twórczość forumowiczów.txt, i w każdym po prostu linijka po linijce linki do pierwszej strony każdego wątku w dziale. Część działów ma tylko kilkanaście-kilkadziesiąt wątków więc nie będzie to dużym problemem, ale są takie które mają stronę za stroną.

Cała łączna ilość wątków na forum to chyba około 700. Dla jednej osoby to bardzo dużo, ale jeśli podzielimy robotę to uporamy się raz-dwa.

[Azkatran]

Brzmi dobrze, w sobotę wieczorem będę mógł to zacząć

[da]

Brzmi dobrze, w sobotę wieczorem będę mógł to zacząć

Supi!

Ja teraz dla testu zrobię My Mii, bo nie ma tego dużo, a chcę się upewnić że skrypt jeszcze działa.

[da]

Ok, przetestowałem to i jednak cholera nie przejdzie. Potrzebuję nie tylko url wątku ale też nazwę, co już komplikuje sytuację na tyle że musimy podejść do tego z innej strony.

Mógłbym poprosić was żeby po prostu na każdej stronie działu wklepać do konsoli przeglądarki następujący fragment kodu:

Kod: Zaznacz cały

function getLinksAndRowData() {
  const rows = document.querySelectorAll('tr');
  const resultsArray = [];

  rows.forEach(row => {
    const tclconDiv = row.querySelector('div.tclcon');
    if (tclconDiv) {
      const links = tclconDiv.querySelectorAll('a');
      const tc2Content = row.querySelector('.tc2')?.textContent.trim() || '';
      const tc3Content = row.querySelector('.tc3')?.textContent.trim() || '';

      links.forEach(link => {
        resultsArray.push({
          text: link.textContent.trim(),
          url: link.href,
          replies: tc2Content,
          views: tc3Content
        });
      });
    }
  });

  return resultsArray;
}

var result = getLinksAndRowData();
console.log(result);

I wtedy powinniście dostać takie coś w odpowiedzi, co możecie skopiować i wkleić do pliku tekstowego:

Kod: Zaznacz cały

[
  {
    "text": "Mii ???",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=120",
    "replies": "0",
    "views": "4197"
  },
  {
    "text": "Adam Małysz Mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=2300",
    "replies": "1",
    "views": "73"
  },
  {
    "text": "Panna Ly",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=664",
    "replies": "35",
    "views": "33368"
  },
  {
    "text": "Raymel Mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=1627",
    "replies": "29",
    "views": "17715"
  },
  {
    "text": "Dzięki!",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=2285",
    "replies": "7",
    "views": "7384"
  },
  {
    "text": "xD",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=2136",
    "replies": "23",
    "views": "13103"
  },
  {
    "text": "Schocker's Mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=989",
    "replies": "32",
    "views": "16359"
  },
  {
    "text": "Nowa",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=1246",
    "replies": "18",
    "views": "10824"
  },
  {
    "text": "Spóżnionie siemanko :P",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=2215",
    "replies": "5",
    "views": "5129"
  },
  {
    "text": "FricePirate - Arrr!",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=2211",
    "replies": "19",
    "views": "12047"
  },
  {
    "text": "Grrrrr",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=2202",
    "replies": "8",
    "views": "5334"
  },
  {
    "text": "Ja, czyli trochę o Lubie Bendera.",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=2149",
    "replies": "22",
    "views": "13375"
  },
  {
    "text": "Raymanik02",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=2118",
    "replies": "33",
    "views": "18371"
  },
  {
    "text": "Mii Theking11l",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=262",
    "replies": "19",
    "views": "11917"
  },
  {
    "text": "RaymanMagnus Mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=124",
    "replies": "8",
    "views": "5999"
  },
  {
    "text": "Executor Mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=126",
    "replies": "20",
    "views": "12384"
  },
  {
    "text": "siema",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=2047",
    "replies": "13",
    "views": "6653"
  },
  {
    "text": "kaper2302 Mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=1484",
    "replies": "30",
    "views": "15713"
  },
  {
    "text": "siemak",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=1904",
    "replies": "21",
    "views": "12687"
  },
  {
    "text": "Macios99 Mi",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=2016",
    "replies": "6",
    "views": "5137"
  },
  {
    "text": "Siemanko",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=1687",
    "replies": "10",
    "views": "6654"
  },
  {
    "text": "Rayman Legends Mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=1845",
    "replies": "5",
    "views": "5169"
  },
  {
    "text": "Dzień dobry.",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=1725",
    "replies": "93",
    "views": "22903"
  },
  {
    "text": "1",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=1725&p=1",
    "replies": "93",
    "views": "22903"
  },
  {
    "text": "2",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=1725&p=2",
    "replies": "93",
    "views": "22903"
  },
  {
    "text": "Halo i głaaa!!!!!!",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=1763",
    "replies": "5",
    "views": "4910"
  },
  {
    "text": "Siemka ;***",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=1668",
    "replies": "2",
    "views": "4547"
  },
  {
    "text": "Deferdus",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=1414",
    "replies": "22",
    "views": "12774"
  },
  {
    "text": "REFLUX Mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=472",
    "replies": "31",
    "views": "16749"
  },
  {
    "text": "Legendarny Mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=487",
    "replies": "13",
    "views": "7549"
  },
  {
    "text": "Fanraya Mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=147",
    "replies": "9",
    "views": "6717"
  },
  {
    "text": "TGC46 Mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=1383",
    "replies": "12",
    "views": "6868"
  },
  {
    "text": "Jules Mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=1284",
    "replies": "13",
    "views": "6121"
  },
  {
    "text": "mr.ksiedzu",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=1166",
    "replies": "21",
    "views": "5483"
  },
  {
    "text": "Ray95 Mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=1089",
    "replies": "10",
    "views": "902"
  },
  {
    "text": "MNBVCXZ mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=421",
    "replies": "57",
    "views": "3211"
  },
  {
    "text": "Jaros Mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=371",
    "replies": "7",
    "views": "649"
  },
  {
    "text": "brando MII",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=889",
    "replies": "5",
    "views": "528"
  },
  {
    "text": "Placek17 Mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=864",
    "replies": "5",
    "views": "516"
  },
  {
    "text": "Fado 23 mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=466",
    "replies": "35",
    "views": "2026"
  },
  {
    "text": "goniek mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=451",
    "replies": "11",
    "views": "725"
  },
  {
    "text": "ray121MII",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=793",
    "replies": "15",
    "views": "1242"
  },
  {
    "text": "Laxx Mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=439",
    "replies": "42",
    "views": "2286"
  },
  {
    "text": "Spinex Mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=148",
    "replies": "40",
    "views": "2300"
  },
  {
    "text": "PKpeter Mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=150",
    "replies": "5",
    "views": "656"
  },
  {
    "text": "Rayus Mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=160",
    "replies": "13",
    "views": "880"
  },
  {
    "text": "RaymanFanek Mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=521",
    "replies": "11",
    "views": "707"
  },
  {
    "text": "PKM mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=121",
    "replies": "8",
    "views": "884"
  },
  {
    "text": "Razor Mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=407",
    "replies": "8",
    "views": "636"
  },
  {
    "text": "Ray12 Mii",
    "url": "http://www.raymanfangame.pun.pl/viewtopic.php?id=194",
    "replies": "10",
    "views": "734"
  }
]

Plus jest taki że to idzie dużo szybciej bo trzeba to zrobić tylko raz na stronę. Minus jest taki że to trochę bardziej skomplikowane.

W sumie jest to już na tyle uproszczone że może będę w stanie to samemu zrobić... Zobaczymy

[da]

TBH największym problemem na razie to jest to jak wolno to się pobiera. Pobranie najdłuższego zajęło mi kilka godzin z tego co pamiętam. Zastanawiam się czy to jest jakiś throttling, czy pun.pl naprawdę jest takie wolne.

[da]

Hej rotu, zwiększyłbyś może maksymalny rozmiar załącznika tak do np. 10MB? Bedę postował tutaj sekcje w miarę jak je zrobię

[jodie_joestar]

L-lepiej sprawdzę ile mam dostępne na hostingu, żebyśmy od razu serwera nie zapchali

[jodie_joestar]

Włączyłem maksymalny rozmiar 10mb i maksymalną przestrzeń dyskową 500mb na tą chwilę, ale no chyba aż tak szybko tego nie zapchamy

[jodie_joestar]

Nasamym hostingu mam dostępną przestrzeń dyskową 100gb więc powinno nam starczyć na długo

[da]

Ok, supi, jbc to My Zone już skończyłem ściągać