読者です 読者をやめる 読者になる 読者になる

Node.jsとjavascriptでサーバーサイドスクレイピング

同一生成元ポリシー(Same Origin Policy)に、あまりにも典型的にハマッてしまう自分 - osamuk's blogで残念なことになったので、HTMLファイルのjavascriptでやっていたスクレイピングをサーバのNode.js側へうつすことにした。
jsdom
request

npm install jsdom
npm install request

おおむね元のHTMLのjavascriptコピペできたけど、別サイトにget/postするところは書き換える必要があった。でもHTMLに書いてあったjavascriptがコピペで使えるなんて、なんとすばらしいことでしょう。ソフトウエアばんざい。

と思ったら、別サイトからとってきたhtmlの日本語がバケてつまづいた。せめて生きてるあいだに文字化け問題に会うことがなくなりますように。