- 2024년 한성대학교 졸업 작품으로, 농인을 대상으로 실시간 수화 번역, 수어 통역센터 길찾기, 수어 사전 등 종합적인 기능을 제공하는 앱입니다.
- 프로젝트 이름: 손짓의 순간 (2024 한성대학교 캡스톤 디자인 우수상 수상작)
- 프로젝트 기간: 2024.01.10 ~ 05/30
- 개발 엔진 및 언어: Android Studio, Kotlin
- 멤버: 박지원, 김성민, 신정인
-
수화 번역 : Yolo v5로 만든 수화번역 모델을 PyTorch Lightning로 경량화하여 CameraX에 탑재하여 실시간 수화 번역이 가능하다.
-
Speech Flow : 동영상을 텍스트로 변환하여 전체자막을 한번에 확인할 수 있다.
-
수어 통역센터 길찾기 : 위치정보를 파악하여 최단거리에 있는 수어통역센터로 길찾기 기능을 수행할 수 있고 일반 지도 길찾기 기능도 사용 가능하다.
-
소음 감지 : 소음을 감지하여 일정 데시벨 이상의 소리가 들리면 핸드폰 진동이 울린다.
-
Speech to Text : 카메라 화면에서 버튼을 누르고 말을하면 말한 내용을 텍스트로 표시한다.
-
음성 분류, 단어 감지 : 주변 소리를 분석해서 어떤 음성인지 분류하고 학습된 단어를 수치로 보여준다.
-
수어 사전 : 단어, 자음, 모음, 숫자로 이루어진 사전이 있다.
-
스트리밍 : 사용자가 방을 생성하면 다른 사용자가 해당 방 id를 입력하고 들어가서 스트리밍에 참여할 수 있다.
| Category | TechStack |
|---|---|
| Architecture | MVVM, Repository Pattern |
| DI | Hilt |
| Language | Kotlin |
| UI | XML (View-binding / Data-binding) |
| Network | Retrofit, OkHttp, Gson |
| Asynchronous | Coroutines, Flow, LiveData |
| Jetpack | Navigation, DataStore, CameraX |
| On-Device AI | PyTorch Mobile |
| Image | Glide |
-
5개월간 진행된 프로젝트를 통해 안드로이드의 다양한 뷰와 디자인 패턴을 직접 공부하고 구현해 볼 수 있었습니다.
-
특히 카메라 연동 및 PyTorch Mobile 모델 탑재 등 어려운 기능을 직접 개발하고 과정에서, 단순히 화면을 만드는 것 뿐만 아니라 안드로이드 앱에는 많은 중요한 기능들이 있고 이것을 잘 만들어야 한다는걸 체감했습니다. 이를 통해 안드로이드 개발자로서 한층 더 성장할 수 있는 경험이었습니다.
-
장기간 팀 프로젝트를 진행하며 개발을 잘 해내는 것 뿐만 아니라, 팀원 간의 소통과 협업이 프로젝트의 결과에 큰 영향을 미친다는 것을 배웠습니다
-
기술적인 문제를 함께 논의하고 각자의 역할을 조율하는 과정을 통해, 개발자로서 갖춰야 할 의사소통 능력은 물론, 개인이 아닌 팀으로서 시너지를 내고 역량을 끌어올리는 방법을 많이 배울 수 있었습니다.