Takuya Nagai

カバレッジとはプロダクションコードのうち、どのくらいテストが実行されているかを割合で見たもの。 codeカバレッジを見る意義プロダクションコードに関して、コードカバレッジを恒常的に可視化しておくことで、PRを立てた際にカバレッジの低下に気づくことが可能となり、テストコードによって動作確認がきちんと行われていないプロダクションコードのmain ブランチへのmergeを未然に防ぐことができる様になります。 codecov をGitHub Actionsで利用する      - name: Run tests        run: go test -coverprofil...

Codecovを活用してカバレッジを可視化する

testingimport "testing"func TestArchiveServiceList(t *testing.T) {	if err := fixtures.Load(); err != nil {		log.Fatalf("failed load fixtures: %v", err)	}	ctx := context.Background()	conn, err := grpc.DialContext(ctx, "bufnet", grpc.WithContextDialer(bufDialer), grpc.WithTransportCreden...

go test について

IAMについてgithub actionsからデプロイ処理を実行する場合、処理を実行するIAMユーザに必要な権限が付与されていないとデプロイ処理を完遂することができない。 EKSとECSでの比較EKSと比較した際に、学習コストは低く抑えられる気がする。大抵の場合、デプロイ環境としてECSを選定する方向で良いことが多い気がする。 ECSとEKSどちらを選定するのか？既存のインフラにてECSを選定している場合、追加する新規サービスもECSで良いのでは？逆も然り。 ECSのインスタンス起動タイプについて Fargateインフラの運用面の多くをAWS側が責任を持...

ECS & EKS の選定について

数値型について 整数型INTバイト数 4バイトTINYINTバイト数 1バイト ()の中の数字TINYINT(1) や TINYINT(4) などの括弧内の数字は、カラムにZEROFILLを設定した際の桁数を表しており、指定した数字の桁数までゼロで埋める。https://dev.mysql.com/doc/refman/5.6/ja/integer-types.html 文字列型についてCHAR固定長文字列（）で指定したバイト数（＝文字数）まで文字列の末尾を空白で埋めた上で、レコードを保存する。VARCHAR可変長文字列 ()...

MySQL 基礎

はじめに今や開発現場で使用されることが当たり前となったdockerですが、そもそもdockerを利用することでどのような恩恵を受けられるんだっけ???、とふと思うことがあったので、今一度整理してみたいと思います。 dockerの一般的なメリットdockerを使用した際の主なメリットは以下のような点が挙げられるかなと思います。起動が高速Dockerfileにてインフラを宣言的に記述することとで、環境間の差異を吸収することができるDockerfileにてインフラを宣言的に記述することとで、production環境およびstaging環境のアプリケーションの動作に関して、冪...

改めてdockerのメリットを整理してみよう

ER図とはER図のEはエンティティ（Entity）の略で、Rはリレーションシップ（Relationship）の略です。つまりER図は「エンティティ＝モノ」と「リレーションシップ＝関係」の組み合わせでシステムのデータやデータ間の処理構造を設計します。例として「顧客が商品を注文する」という処理をER図で表すと以下のようになります。https://products.sint.co.jp/ober/blog/create-er-diagram#:~:text=ER図のEは,構造を設計します。簡潔に説明をすると、ER図とはテーブル間の関係を表した図です。RDBのようなデータベースを...

[ Golang ] Facebook / ent のER図をGitHub Actionsで自動更新する

はじめにECSタスクのコンテナからRDSなどの外部ストレージにアクセスする場合、AWS Secrets Manager　のような秘匿情報を管理するマネージドサービスを使用して、セキュリティ面に配慮する必要があります。チームの方針によってはプロダクション環境以外ではAWS Secrets Managerで管理することの優先度を下げる場合があるかと思いますが、基本的にはAWS Secrets Manager経由で秘匿情報を参照するのが望ましいと思います。https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/developerguide...

[AWS Secrets Manager] ECS デプロイ時に気をつけたい秘匿情報の扱いについて

はじめにCRUDなWebアプリケーションを開発する際に、外部ストレージとしてAWS S3を選定し、ファイルのアップロード処理やダウンロード処理などを実装する場合が多々あると思います。AWS S3のようなマネージドサービスに依存するビジネスロジックに関しても単体テストもしくは統合テストをきちんと書き、自動テストを実行したい！！　といった場合に役立ちそうな内容を記事にまとめます。 選定したツール今回はlocalstackという、AWSのマネージドサービスをモッキングするためのツールを使用します。localstackを使用することで、AWSの多くのマネージドサービスをモッキング...

AWS S3のmockを作成してGitHub Actionsで自動テストを実行する

はじめにAWS ECS にgRPCサービスをFargate起動タイプにて自動デプロイするための設定を作成いたしました。 参考にしたテンプレートGitHub Actions 公式docsに設定に関する解説とテンプレートが記載されているので、そちらを参考にして設定を進めました。https://docs.github.com/en/actions/deployment/deploying-to-your-cloud-provider/deploying-to-amazon-elastic-container-service クラスターとサービスの作成GitHub Acito...

GitHub ActionsでAWS ECS FargateにgRPCサービスを自動デプロイする

はじめにgRPCサーバーの開発を進めている際に、gRPCサーバーに対しての動作確認をローカル環境で行いたい場合があると思います。そこで、動作確認の際に、便利なツールが公開されているので紹介します。 grpcurlhttps://github.com/fullstorydev/grpcurl install今回はMacにて使用するので、以下のコマンドでinstallを行います。brew install grpcurl 事前準備gRPCサーバーのmain.goに以下の処理を追記しておきます。下記のソースを追加	s := services.NewServer(c...

grpcurlを用いてgRPCサービスの動作確認を行う

はじめにマイクロサービス方式の開発で選定されることが多いgRPCを用いてクライアントからのファイルアップロード処理を実装してみました。 gRPCの通信方式Unary RPCsシンプルな通信方式。1つのrequestに対して1つのresponseが返ってくる方式になります。gRPCの通信方式の中で一番REST方式に近いものになると思います。Server streaming RPCsクライアントからの1つのrequestに対して、サーバーから複数のresponseを返すことができる通信方式になります。サーバーからクライアントに向けてサイズの大きいファイルなどを送信したい場...

gRPCのstream方式でファイルアップロード処理を実装する

はじめにマイクロサービス方式の開発で選定されることが多いgRPCを用いてCSV出力処理を実装してみました。 gRPCの通信方式Unary RPCsシンプルな通信方式。1つのrequestに対して1つのresponseが返ってくる方式になります。gRPCの通信方式の中で一番REST方式に近いものになると思います。Server streaming RPCsクライアントからの1つのrequestに対して、サーバーから複数のresponseを返すことができる通信方式になります。サーバーからクライアントに向けてサイズの大きいファイルなどを送信したい場合に使うことが多いと思います...

gRPCのstream方式でCSV出力処理を実装する

はじめにgolangとgRPCを用いたapiの自動テストを実行するための設定手順です。 protoc のセットアップについてCIコンテナ内で　protoc コマンドを利用できるようにするためのセットアップをおこなった際に、少しハマりどころがあったので説明をしておきます。以下の様に自前でprotocの環境構築を行うと、protocコマンド実行環境整備完了後に、なぜかMySQLのconnection refusedエラーが発生した。MySQLのエラーcurl: (7) Failed to connect to 127.0.0.1 port 3307: Connectio...

Github ActionsでGolang & gRPCのテストを実行する

はじめにFacebookが開発しているGo製のORMであるentを業務で使い始めたので、基本的な構文などをまとめます。 導入CRUD操作についての確認https://entgo.io/docs/crudvalidatorの定義方法の確認https://entgo.io/docs/schema-fields/#validatorsmigrationの実行方法及びversioned migrationの調査https://entgo.io/docs/migrate#auto-migrationhttps://entgo.io/docs/versioned-...

Go製のORM である Facebook / ent を使ってみたらなかなかイケてた話

はじめに業務でgoを用いて開発をおこなった際に、基礎的な文法等について不明であった点について自身の頭の中を整理するために記事にまとめました。メモ書きのような形式で記事にしているので、網羅性に欠ける部分が存在する点についてはご了承ください。 基礎文法_(アンダーバー)は、アンダースコア変数と呼び、宣言はするが後で使用しない変数を意味する。アンダースコア変数を使用してスライスの中身を取り出す。for _, value := range values {    fmt.Println(value)}スライスからkeyとvalueを取り出す。for ke...

Go 基礎

はじめにgitのcommitメッセージについて、開発チーム内で規約などを定めているでしょうか？私は前職の開発チームでは、メンバー間でgitのcommitメッセージに関して規約などを定めていない中で開発を進めておりました。一方で現職の開発チームでは、社内の開発チームのメンバー間で共通された規約を用いてcommitメッセージを書くことが定められており、commitメッセージに関してチーム内で共通のフォーマットを用いて運用を行うことに一定のメリットがあることに気がついたので記事にまとめます。 conventional commit社内の開発チーム内では全チームで共通して、基本的...

Git conventional commitまとめ

はじめにJestはJavascriptもしくはTypescript向けのテストフレームワークです。 Jest基礎まずはJestを使用する際に押さえておくべき基礎事項を簡単にみていきます。 頻繁に利用するコマンド 全テストを実行npx jest -i ファイルに変更が加えられたときにテストを実行npx jest -i --watch 特定のファイルを実行npx jest -i tests/handlers/claimServiceHanler.test.tshttps://zenn.dev/tentel/books/08b63492b00f0a/view...

Jest でgRPC × Typescript のテストを実行する

はじめに現在関わっているプロジェクトにて、jestで書かれたテストケースの総数が増えてきたということもあり、ソースコードに変更を加えるたびに、ローカル環境で全てのテストを手動で実行していてると、全テストの実行完了までに少し時間がかかってしまったり、現在自分が改修を行なっているソースコードとは直接関係のないテストの実行を忘れてしまうという事態がちらほら発生し始めました。そこで、Githubにソースコードをpushした際に自動でテストを実行できればマージ前に全テストの実行を忘れることなく安全にマージを行えると思いCI環境の整備を進めようと考えました。自動テストを行うためのCI環境...

Github Actionsを使用してJestを自動で実行する

事前準備 M1 Macにnodeとnpmをinstallするこちらの記事にinstall手順がわかりやすくまとめられており、手順通りに行えば、問題なくinstall作業が完了できると思います。https://nullnull.dev/blog/how-to-install-node-js-and-npm-on-m1-mac/#🏩👨💕____💕👩installの際には、LTSの最新版である v16.14.2 を指定してinstallを行いました。user@localhost ~ % nvm ls-remote       v16.13.0   (LTS: Gallium)...

prisma 入門

概要git flow モデルを参考に、社内の開発チームで設定したいブランチモデル及び、ブランチ命名規則を記載する。git flowについては以下を参照https://qiita.com/KosukeSone/items/514dd24828b485c69a05以下で説明しているブランチ命名規則を軸として、開発チーム内でブランチの名前の付け方をできる限り統一したい。 ブランチ名の頭につけるフレーズ（\ バックスラッシュより前の部分）についてブランチ名の頭に以下のフレーズをつけて、そのブランチで行われている開発や修正が、どういった属性のものなのかを大きなくくりで分かるよ...