プログラミング備忘録

初級プログラマ。python、DL勉強中

OpenAPI (Swagger)

編集ツール editor.swagger.io サンプル openapi: 3.0.0 info: title: Sample API description: A short description of API. version: 1.0.0 paths: # paths オブジェクト /users: # path item オブジェクト get: # GET # Operationオブジェクト tags: - us…

Node.jsをUbuntuにローカルインストール

nvm Node.jsをダウンロードしてインストールできるツール。 バージョンの切替方法は以下 qiita.com npm javascriptパッケージをインストールするツール。 インストール 以下を実行 git clone https://github.com/creationix/nvm.git ~/.nvm source .nvm/nvm.…

bashからpsqlを非対話で使う

#!/bin/bash DATABASE="testcopy" DIRPATH="/hogehoge/postgres/files/" ### database作成 psql -c "create database ${DATABASE}" ### テーブル定義 psql ${DATABASE} < ${DIRPATH}/ddl/s.txt psql ${DATABASE} < ${DIRPATH}/ddl/s2.txt psql -c "\c ${DATA…

postgreSQLのメモ

初期設定 sudo apt update sudo apt install postgresql postgresql-contrib ユーザー切り替え(ログイン) sudo -i -u postgres ダンプ pg_dump {database} -t {table} -U postgres -s --file={filename} 復元 psql {database} < s.txt 接続(対話型) psql {da…

pipenvメモ

Pipfile.lock pipenv shell pipenv [package] requirements.txt pipenv --python 3.6 pipenv install -r requirements.txt pipenv shell pip freeze -l > requirements.txt

sarimax

import pandas as pd import statsmodels.api as sm import matplotlib import matplotlib.pyplot as plt ### pandas setting #pd.get_option("display.max_columns") #pd.set_option('display.max_columns', 5) pd.set_option("display.max_colwidth", 80) …

時系列トレンド表示

import pandas as pd import statsmodels.api as sm import matplotlib import matplotlib.pyplot as plt ### pyplot setting plt.style.use('ggplot') font = {'family' : 'meiryo'} matplotlib.rc('font', **font) plt.rcParams["figure.figsize"] = [10,1…

pandas(timestamp,groupby)メモ

import pandas as pd df=pd.read_csv("./data/hoge.csv") print(df) df["TIMESTAMP"]=pd.to_datetime(df["DATE"]) print(df["TIMESTAMP"].dt.year) print(df["TIMESTAMP"].dt.month) print(df["TIMESTAMP"].dt.weekday_name) import pandas as pd df=pd.read…

pyplotメモ

import pandas as pd import matplotlib import matplotlib.pyplot as plt ### pyplot setting plt.style.use('ggplot') font = {'family' : 'meiryo'} matplotlib.rc('font', **font) plt.rcParams["figure.figsize"] = [10,10] ### pyplot initialize #fig…

鍵の種類のまとめ

種別 KEY Private Key 秘密鍵 CSR Certificate Signing Request 公開鍵 KEYより作成 CRT Certificate 公開鍵に証明書を付加したもの CSRより作成 第三者期間より発行 nginx設定 sites-available/default server { # SSL configuration # listen 443 ssl defa…

rescueモードでの起動

ubuntuとwindows10のデュアルブートマシンを開発に使用しているが windowsupdateの関係でubuntuが起動しなくなり、どえらい目にあったのでメモ。 基本は以下に従った grub rescueと表示されるdual bootパソコンを復旧させる方法 - ShinobiMind grub/i386-pc/…

ポートが使用できない時のメモ

thunder lock: disabled (you can enable it with --thunder-lock) probably another instance of uWSGI is running on the same address (0.0.0.0:50001). bind(): Address already in use [core/socket.c line 769] 以下コマンドで解決 fuser -k 50001/tcp

gitでtagをつける

tagのつけかた git tag -a release_1.0 -m 'first release' commitidxxxxxxxxxxxxxxxxxxxxxxxxxxxxx git push origin release_1.0 tagの取り出し git checkout -b release_1.0 refs/tags/release_1.0 参考 git tagの使い方まとめ - Qiita

pythonにおけるmultiprocessingでの変数受け渡し

マルチプロセス間で変数を受け渡しするときにハマったのでメモ 引越しました qiita.com 参考 Pythonでプロセス間の値の共有 - Qiita Pythonの並列処理(マルチプロセス)の基本と使い方|dot blog

nvidia-driver,CUDA,cuDNN,tensorflowの設定

概要 なぜかは分からないが、開発環境のCUDA環境が壊れており、 tensorflow,keras,chainerのDL系フレームワークが一切使えない状況になっていた。 面倒くさいので余りやりたくないのだが、仕方ないので再設定することにした。 nvidia-driver,CUDA,cuDN…

pythonでGmailをyahooメールに送信してみる

pythonでGmailをyahooメール送信してみる。 ライブラリが充実しているため、簡単に実行できた。 ソース import yaml import smtplib from email.mime.text import MIMEText from email.utils import formatdate class messenger(): def __init__(self,FROM_A…

NW.jsでExpressを使ってみる

NW.jsの初期実行はhtmlファイルであるため、 Expressを実行するには、初期実行ファイルをjsファイルに変更する必要がある。 ファイル構成は前回記事と同じ構成としている。 jsファイル(express) "use strict" console.log("start ") var express=require("ex…

NW.jsを使ってパッケージを作成する

引っ越しました qiita.com

rot_13を使った簡単な暗号化

DBなどにナマの情報を放り込むとやや不安なため、 簡易的な暗号化を実行 ソース import codecs string="hogehoge1234" encrypted = codecs.encode(string,'rot_13') print(encrypted) decrypted = codecs.encode(encrypted,'rot_13') print(decrypted) 結…

flask+uWSGI+nginxでアプリを起動してみる

全体像 モジュール関係のイメージは以下のとおり Flask - uwsgi - socket - Nginx - client Flask サーバサイドの処理を通常通りに記載 serv.py from flask import Flask app = Flask(__name__) @app.route('/') def hello(): hello = "Hello world" return …

npm,node,electronのインストールメモ

electronを使ってみようと思いたったもnpm,node,electronがインストールできず 正しく対処できたか不明だが、とりあえずメモを残しておく n とりあえず一通りインストール。npmにはnというパッケージがあってバージョン管理ができる様子 $ sudo apt-get inst…

日本語版wordnet(シソーラス)を使ってみた

ダウンロード 以下よりダウンロード Japanese Wordnet and English WordNet in an sqlite3 database を選択 日本語 Wordnet 設定 ダウンロードしたファイルを回答するだけ。 $gzip -d wnjpn.db.gz 動作 sqliteで読み込み可能 import sqlite3 conn = sqlite3.…

gensim+mecabでコーパスと辞書を作成

gensimでコーパスと辞書を簡単に作成できる機能があったためメモ mecabやgensimの参考は以下 programdl.hatenablog.com ソース from gensim import corpora, models import MeCab NEOLOGD="/usr/lib/mecab/dic/mecab-ipadic-neologd/" tagger=MeCab.Tagger("…

python+kerasを使って、UNETを学習・推論(作業中)

autoencoder,caeと試してきたので、次はunetを触ってみた programdl.hatenablog.com programdl.hatenablog.com イメージ ソース import keras from keras.models import load_model from keras.datasets import cifar10 from keras.layers import Input, Den…

kerasを使って、cifar10をconvolutional autoencoderで学習・推論

前回はMNISTを単純なautoencoderで学習推論してみたが 今回はcifar10を畳み込みオートエンコーダー(convolutional autoencoder)で学習・推論してみた programdl.hatenablog.com ソース from keras.datasets import cifar10 from keras.layers import Input…

python+kerasを使って、MNISTをautoencoderで学習・推論

今更ながらautoencoderを実装してみた。 dataはMINISTを使用 ソース import keras from keras.models import load_model from keras.models import Model from keras.datasets import mnist from keras.layers import Input, Dense from sklearn.model_selec…

Android Studio で導入トラブル

エミュレーターが動かない件 Android Studio でエミュレータが動かなかったが、 どうやらHAXMがインストールできていなかったのでメモ エミュレーターを準備し、実行ボタンを押すも何も反応せず エラーコード1 を出力していた SDKの設定 Toolsタブ > SDK Man…

Python + BeautifulSoup でスクレイピングしてみる

BeautifulSoup でスクレイピングしてみる Google 検索結果 Google検索結果から得られるURLを一覧化する import requests as web import bs4 import csv # キーワード list_keywd = ['機械学習','統計'] query='https://www.google.co.jp/search?num=10&q=' +…

firewallのメモ

ゾーン デフォルトでは9種類のゾーンが存在 drop 全てのパケットを破棄 block 外部からのパケットは基本的に破棄(内部からの通信パケットの返信は許可) public 「ssh」と「dhcpv6-client」のみ許可 external 「ssh」のみ許可 dmz 「ssh」のみ許可 work 「d…

nginxを使ってみた

インストール # vim /etc/yum.repos.d/nginx.repo [nginx] name=nginx repo baseurl=http://nginx.org/packages/mainline/centos/7/$basearch/ gpgcheck=1 enabled=1 gpgkey=http://nginx.org/keys/nginx_signing.key [nginx-source] name=nginx source base…