UnityのLocalizationを利用する際、制作中のゲームではStringTableCollectionをCSVからインポートしていました。 ただ用途によってStringTableCollectionを複数に分割している為、CSVも分割した数だけ存在するのでGUIからのインポートがとても苦痛…。
そこで、今回はスクリプトからインポート対象のCSVをまとめてインポートできないか調べたところ、できそうなので備忘録として残します。
static Dictionary<string, string> CsvPaths = new Dictionary<string, string>() { { "FooTable", "***********/FooTable.csv" }, { "BarTable", "***********/BarTable.csv" }, { "BazTable", "***********/BazTable.csv" }, }; static void ImportAllExtensions() { ReadOnlyCollection<StringTableCollection> stringTableCollections = LocalizationEditorSettings.GetStringTableCollections(); foreach (StringTableCollection collection in stringTableCollections) { foreach (CollectionExtension extension in collection.Extensions) { if (extension is CsvExtension csvExtension) { string filePath = CsvPaths[collection.name]; if (!string.IsNullOrEmpty(filePath) && File.Exists(filePath)) { using (var stream = new StreamReader(filePath)) { Csv.ImportInto(stream, collection, csvExtension.Columns); } } } } } }
ImportAllExtensions()を任意の場所から呼ぶことでCsvPathsで定義したパスのcsvファイルをインポートする形となっています。
StringTableCollectionにインポートするためのAPIとしてCsv.ImportInto()が用意されていますので、引数にStreamReader,StringTableCollection, CsvColumnsを渡して呼んであげればGUIでインポートする時と同様にインポートしてくれます。
Class Csv | Localization | 1.0.5
どこからこのメソッドを呼ぶかは任意ですが、私はシーンビュー上にインポートボタンを配置してボタンを押した際に実行するようにしています。
↓シーンビュー上にボタンを置いて任意の処理を実行する方法は、以前以下の記事で取り上げましたので興味があればご覧下さい！
SQLiteを今まで使ったことが無かったのですが、先日ExcelでSQL的なことをしようとして思うように書けず辛かったのでSQLiteへデータを流し込んでSQLのクエリで集計しました。
SQLiteはPostgreSQL, MySQL等と比較すると気軽にデータを格納・集計できるので、普段ExcelよりSQLを書く機会が多い方は使ってみるのもアリだと思います。
以下でCUIからSQLiteを使う際の基本的な使い方をまとめてみました。
RDBMSの1つで、以下のような特徴を持ちます。
今回はWindows(Windows 11 Home (22H2))での利用を想定します。macOSだと嬉しいことにデフォルトでインストールされているようです。
WindowsのCUIからインストールする場合、パッケージマネージャーであるChocolateyが便利です。 使い方は以下の公式ページからどうぞ。
# ChocolateyでSQLiteのインストール
$ choco install sqlite
インストールされているかどうか、以下のコマンド等で確認しましょう。
$ sqlite3 --version 3.40.0 2022-11-16 12:10:08 89c459e766ea7e9165d0beeb124708b955a4950d0f4792f457465d71b158d318
Chocolateyでインストールする際「管理者として実行する」必要になりますので、コマンドプロンプトやGit Bashは予め「管理者として実行する」ようにしてください。（よくハマりました）
まずは予めSQLiteに読み込むCSVを用意してください。 今回は例として以下のようなCSVを用意しました。
users.csv
id,name,address 1,yamashita,kyoto 2,tanaka,osaka 3,okamoto,hokkaido
用意ができたら以下のコマンドでSQLite側にCSVデータを読み込みます。
# DBを作成 $ winpty sqlite3 test.sqlite3 # sqlite3に接続する $ winpty sqlite3 # 区切り文字をカンマに指定する sqlite> .separator , # usersテーブルにCSVをインポートする（usersテーブルは未定義なのでこの時にCREATE TABLEされる） sqlite> .import users.csv users # usersテーブルを照会する sqlite> SELECT * FROM users; 1,yamashita,kyoto 2,tanaka,osaka 3,okamoto,hokkaido # テーブル定義を確認する sqlite> .schema users # sqliteを終了する sqlite> .exit # DBがファイル(*.sqlite3)として作成されている $ ls test.sqlite3 users.csv
SQLiteではDBが1つのファイルとして扱われます。お手軽ですね。
*.sqlite3が作成されたら、以後はwinpty sqlite3 *.sqlite3で既存のDBに接続して利用できます。
DBに接続してしまえば、あとはSQLでデータを集計できますので、GROUP BYなりWHEREなりを書いて良い塩梅になるようデータを加工しちゃえばOKです。
※Git Bashを使う場合、頭にwinptyを付けないと正しく動作しません。winptyについては下記の記事で少し書きました。 tm-progapp.hatenablog.com
DBでデータを加工したらそれを出力したい！という場面もあるかもしれません。
その場合は以下のように.outputを使います。
# usersテーブルから条件指定したレコードだけをCSV出力する sqlite> .separator , .headers on .output output.csv SELECT * FROM users WHERE name IN ('tanaka', 'okamoto');
# output.csvが出力されている $ cat output.csv id,name,address 2,tanaka,osaka 3,okamoto,hokkaido
.output {出力ファイル名}.csv {SQL文}でクエリの実行結果が出力されます。
.headersはヘッダ行が必要な時だけ記述すればOKです。
SQLiteはSQLで集計したいけどサーバを立てるほどのことでもないな…という時はおすすめです。 自分はエクセルの関数を駆使した集計が得意ではないので、SQLiteの方が書きやすいなーという感想です🤤
↑の記事にてInnoDBのロックについてまとめましたが、公式ドキュメントを読み漁る中で「locking read」と「non-locking read」という言い回しがあり、気になったのでまとめてみました。
MySQL :: MySQL 8.0 Reference Manual :: 15.7.2.4 Locking Reads
SELECT ... FOR SHARE, SELECT ... FOR UPDATE時のロックを伴う読み取り処理を指します。
locking readではconsistent read（一貫性読み取り）ではなく常にDBから最新の値を取得します。
locking readではない処理のことで通常のSELECTを指します。
InnoDBでは通常のSELECTはconsistent readを行います。consistent readではMVCC(※1)という仕組みによりスナップショットから値を参照しようとします。こちらでは他トランザクションによるレコード増減の影響を受けない為ファントムリード(※2)が起こりません。
漢(オトコ)のコンピュータ道: InnoDBのREPEATABLE READにおけるLocking Readについての注意点
主要RDBMS製品の比較 – 同時実行制御, トランザクション分離レベル | コーソルDatabaseエンジニアのBlog
MySQL の Repeatable Read と RocksDB の楽観的トランザクション解説｜技術ブログ｜北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ
MySQLを実務で触っているのですが、改めてInnoDBのロックの仕様について頭の整理をするためにまとめてみました。
共有ロックと排他のロックの2種類があり、トランザクション分離レベルによって挙動が変わります。
InnoDBのデフォルトは"REPEATABLE READ"で、SELECT @@transaction_ISOLATIONで確認が可能です。
トランザクション分離レベルについては以下を参照。
MySQL :: MySQL 8.0 Reference Manual :: 15.7.2.1 Transaction Isolation Levels
なお以下の説明は"REPEATABLE READ"での挙動になります。
共有ロック、排他ロックが適用される範囲にはいくつか種類があります。
各ロックの相関関係や扱われ方については、自分で書くよりこちらのブログの説明が視覚的にも分かりやすいので紹介いたします。
MySQL :: MySQL 8.0 Reference Manual :: 15.7.1 InnoDB Locking
MySQL｜占有ロック(FOR UPDATE)と共有ロック(LOCK IN SHARE MODE) - わくわくBank
MySQL - InnoDBのロック関連まとめ - Qiita
良く分かるMySQL Innodbのギャップロック - Qiita
主要RDBMS製品の比較 – 同時実行制御, トランザクション分離レベル | コーソルDatabaseエンジニアのBlog
最近知ったnpm linkというものについて書いてみようと思います。
とあるnpmパッケージの実装を変更した後、npm publish前にパッケージをimportしている別プロジェクト側から動作が確認したいというケースがありました。
具体的には、プロジェクト側でimport MyPackage from '@hogefuga/my-package'という形で参照しているという状態において、ローカルでMyPackageを変更した場合の動作確認をしたいという状況でした。
npm linkの仕様は下記公式に載っています。
以下の手順でコマンドを叩くとやりたいことが実現できました。
npm linkを実行する。
npm link {パッケージ名}を実行する。
参照側のプロジェクトでnpm installし直すことで、publishされたパッケージを参照するよう戻せます。
無用な混乱を避ける為、動作確認を終えたら戻すように癖付けしておいた方が良いかもしません。
VSCode便利ですよね。
拡張機能を使いこなすと大体やりたいことができちゃう凄いエディタだという印象を持っていますが、実はデフォルトでも便利な機能が実装されています。
例えば以下はVSCodeで異なるテキストファイル同士を比較した場合の表示です。
Gitのdiffのように変更点が強調表示されます。 長い文字列同士を比較して、差分を特定したい時に使えそうです。
まず、VSCodeのコマンドパレットを開きます。コマンドパレットは、Windows/Linuxなら「Ctrl＋Shift＋P」、macOSなら「⌘＋Shift＋P」で展開できます。
コマンドパレットから「Compare Active File ...」を選択します。選択すると比較した結果が表示されます。なお、比較方法には3種類あります。
Cloud Watch Insightsは、膨大なCloud Watchのログから必要なものをフィルタリングするのに便利です。 AWSコンソール上から利用できるようになっていますが、AWS CLIからも利用ができるとのことで実際に試してみました。
# uname -a Linux b93945d429ec 5.10.102.1-microsoft-standard-WSL2 #1 SMP Wed Mar 2 00:30:59 UTC 2022 x86_64 GNU/Linux # cat /etc/os-release PRETTY_NAME="Debian GNU/Linux bookworm/sid" NAME="Debian GNU/Linux" ID=debian HOME_URL="https://www.debian.org/" SUPPORT_URL="https://www.debian.org/support" BUG_REPORT_URL="https://bugs.debian.org/"
Lambdaからログを吐かせる等して、Cloud Watchにログが存在する状態にしておきます。
シェルスクリプトからAWS CLIを使いますので、予めAWS CLIをインストールし、アクセスキー・シークレットアクセスキーを用意しておいて下さい。
"/aws/lambda/hoge"というロググループに対してクエリを実行する場合は下記のようになります。
#!/bin/bash -eu QUERY_ID=`aws logs start-query \ --log-group-name "/aws/lambda/hoge" \ --start-time 1648393200 \ --end-time 1648476000 \ --query-string \ "fields @timestamp, @message | sort @timestamp desc | limit 10" \ | jq ".queryId" \ | sed "s/\"//g"` while : do STATUS=`aws logs get-query-results --query-id $QUERY_ID | jq ".status"` if [ $STATUS = '"Complete"' ]; then break fi sleep 1s done aws logs get-query-results --query-id $QUERY_ID
aws logs start-queryでクエリを実行しています。
aws logs get-query-resultsでクエリの実行結果を取得できます。ここで注意すべき点は、クエリ実行直後は結果取得ができないのでウェイトを挟む必要があることです。 （while文でstatusが"Complete"になるまでsleepさせているのはその為。）
CloudWatch Logs Insights のクエリ構文 - Amazon CloudWatch Logs
デバッグをしていて一部のHTTPリクエストのパラメータだけ変えてcurlしたいなーと思っていたところ、Chromeの開発者ツールで既に便利な機能が用意されていたことを知りました。
実際には下記のようなcurlコマンドがコピーされます。(以下はbash用)
curl 'https://************************************' \ -H 'authority: ************************************' \ -H 'accept: application/json, text/plain, */*' \ -H 'accept-language: ja,de;q=0.9,en-US;q=0.8,en;q=0.7,ja-JP;q=0.6' \ -H 'cache-control: no-cache' \ -H 'origin: https://************************************' \ -H 'pragma: no-cache' \ -H 'referer: https://************************************/' \ -H 'sec-ch-ua: "Chromium";v="104", " Not A;Brand";v="99", "Google Chrome";v="104"' \ -H 'sec-ch-ua-mobile: ?0' \ -H 'sec-ch-ua-platform: "Windows"' \ -H 'sec-fetch-dest: empty' \ -H 'sec-fetch-mode: cors' \ -H 'sec-fetch-site: same-site' \ -H 'user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36' \ --compressed
地味に改行してくれているのが見やすくて助かりますね！
