[Company Details]
One of Japan's largest and growing e-commerce sites.
Good work life balance + international environment + above-market rate salary
[Location]
Hybrid, 2 days from the office.
Office is located in Minato-ku, Tokyo
[Job Type]
Full-time, permanent
[Salary range]
10 million yen ~ 15 million yen (mid-level to senior)
[Job Content]
•Collecting data from microservices
-Developing batch-based data pipelines
-Developing streaming-based data pipelines
-Developing SDK for logging within microservices
•Data Lake, DWH
-Constructing Data Lakes for storing collected data
-Managing partial permissions and resources on DWH
•Data utilization
-Developing tools to support use of data in Data Lakes and on DWH
-Developing a platform to provide stream data processing function
•Company-wide
-Improving performance, aiming for low latency/high throughput according to application and middleware development, operation, and requirements
-Developing tools to automate operations and/or lower costs
-Identifying and solving technical issues with the system caused by engineering
[Required Skills]
•Experience designing, developing, and operating large-scale services and/or distributed systems
•At least two of the following:
-Experience developing in the cloud with AWS, GCP, etc.
-Experience developing systems utilizing container technologies such as Kubernetes
-Development experience using message queues like Cloud Pub/Sub and Apache Kafka
-Experience in data processing development using distributed processing frameworks like Apache Flink and Apache Spark
-Experience with ETL system using workflow engines like Airflow and Digdag
-Experience designing application logs for large-scale services
[会社詳細]
日本最大規模で成長を続けるeコマースサイトのひとつ。
ワークライフバランス良好、国際的な環境、市場価格を上回る給与
[場所]
ハイブリッド、オフィスから2日。
オフィスは東京都港区にあります。
[職種]
フルタイム、正社員
[給与範囲]
1,000万円～1,500万円（中堅～シニア）
[仕事内容]
•マイクロサービスからのデータ収集
-バッチベースのデータパイプラインの開発
-ストリーミングベースのデータパイプラインの開発
-マイクロサービス内でのログ記録用SDKの開発
•データレイク、DWH
-収集したデータを格納するためのデータレイクの構築
-DWH上の部分的な権限とリソースの管理
•データ活用
-データレイクとDWHでのデータの利用を支援するツールの開発
-ストリームデータ処理機能を提供するプラットフォームの開発
•全社
-アプリケーションやミドルウェアの開発、運用、要件に応じて、低レイテンシ/高スループットを目指したパフォーマンスの向上
-運用の自動化やコスト削減のためのツールの開発
-エンジニアリングに起因するシステムの技術的問題の特定と解決
[必須スキル]
•経験大規模サービスや分散システムの設計、開発、運用
•以下の 2 つ以上:
-AWS、GCP などを使用したクラウドでの開発経験
-Kubernetes などのコンテナ技術を活用したシステムの開発経験
-Cloud Pub/Sub や Apache Kafka などのメッセージ キューを使用した開発経験
-Apache Flink や Apache Spark などの分散処理フレームワークを使用したデータ処理開発の経験
-Airflow や Digdag などのワークフロー エンジンを使用した ETL システムの経験
-大規模サービスのアプリケーション ログの設計経験