プログラミング備忘録

初級プログラマ。python、DL勉強中

2017-11-11から1日間の記事一覧

スクレイピング系のpythonライブラリ

webページ取得 urllib requests データの整形 lxml pyquery BeautifulSoup4 scrapy scrapy shell 例 scrapy shell https://news.yahoo.co.jp/pickup/6300579 response.css('.newsTitle ::text').extract() response.css('.body').xpath('string()').extract()…

MongoDBを使ってみた

pythonでMongoDBを使用してみる ソースコード はじめにMongoDBへのアクセスと定義を行う from pymongo import MongoClient #アクセス client=MongoClient("localhost",27017) #DB作成 db=client.testdb #collection作成 collection=db.testcollect MongoDBの…

MongoDBのインストール方法

mongoDBはドキュメント特化のNoSQLデータベース インストール $ sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 0C49F3730359A14518585931BC711F9BA15703C6 $ echo "deb [ arch=amd64,arm64 ] http://repo.mongodb.org/apt/ubuntu xeni…

wgetのインストール

wgetとは、HTTP、FTPプロトコルを使用してファイルをダウンロードするコマンド インストール $ sudo apt-get update $ sudo apt-get install -y wget 確認 $ wget wget: URLがありません 使い方: wget [オプション]... [URL]... 詳しいオプションは `wget --…