Research Vision

Empowering People
through Digital-Physical Convergence
Yonsei University
Convergence Experience Design (CXD) Lab
Director: Prof. Bokyung Lee
연세대학교
컨버전스 경험 디자인 연구실
디렉터: 이보경 교수

CXD Lab explores and shapes the next generation of human experiences in the age of XR/AI, where digital intelligence seamlessly converges into the spaces, objects, and activities of everyday life. As XR, AI, and digital intelligence become increasingly embedded in daily life, we believe the true challenge is not only to develop new technologies, but also to design meaningful ways for people to live, interact, and thrive with them. At CXD Lab, we investigates new interaction paradigms for these technologies, and reshape how people learn, create, communicate, move, and interact with the world around them.

Grounded in Human-Computer Interaction (HCI) and Interactive System Design, our research spans diverse contexts, including education, museums and cultural experiences, creativity support tools, robotics, media art, smart homes, and beyond. Depending on the research question, our work may involve user-centered exploration, research-through-design, concept development, system prototyping, or rigorous UX evaluation.

Rather than simply applying XR/AI to existing problems, we aim to anticipate the emerging relationships between people, digital intelligence, and everyday environments. Through this process, we generate new interaction concepts, design insights, and practical knowledge that can inform the future of digital-physical experiences.

Keywords: Digital-Physical Interaction, XR/AI Interaction, Embodied Interaction, Spatial Intelligence, Digital Humans, AI as Experiential Entity, Intelligent System Design, Human-Computer Interaction (HCI), UX Research, Interaction Design, Research-through-Design, Creativity Support, Human Empowerment

CXD Lab은 XR과 AI 시대의 차세대 사용자 경험과 인터랙션을 탐구하고 설계하는 연구실입니다. 우리는 디지털 인텔리전스가 일상의 공간, 사물, 활동 속으로 자연스럽게 스며드는 미래를 상상합니다. XR, AI와 같은 기술이 우리의 일상에 점점 더 깊이 자리 잡고 있는 지금, 중요한 과제는 단순히 새로운 기술을 개발하는 것이 아니라, 사람들이 이러한 기술과 함께 살아가고, 상호작용하며, 더 나은 경험을 만들어갈 수 있는 의미 있는 방식을 설계하는 것이라고 믿습니다. CXD Lab은 디지털 인텔리전스가 일상의 공간, 사물, 활동 속에 자연스럽게 녹아드는 미래를 상상하며, 이러한 미래 환경에서 사람들이 배우고, 창작하고, 소통하고, 움직이고, 세상과 상호작용하는 방식을 새롭게 변화시킬 인터랙션 패러다임을 선제적으로 탐색하고 제안합니다.

우리 연구실은 ‘인간-컴퓨터 상호작용 (HCI)‘과 ‘인터랙티브 시스템 디자인’을 핵심 기반으로, 교육, 박물관 및 문화 경험, 창의력 지원 도구, 로보틱스, 미디어아트, 스마트홈 등 다양한 분야에서 XR·AI 기술의 활용 가능성과 가치를 탐색하고, 이를 바탕으로 혁신적이고 새로운 UX 및 시스템 디자인 솔루션을 제안합니다.연구 질문에 따라 사용자 중심 탐구, 리서치 스루 디자인 (Research-through-Design), 콘셉트 개발, 시스템 프로토타이핑, 그리고 엄격한 UX 평가 등 다양한 연구 방법을 활용합니다.

CXD Lab은 XR과 AI를 단순히 기존 문제에 적용하는 데 머무르지 않으며, 사람, 디지털 인텔리전스, 그리고 일상 환경 사이에서 새롭게 형성될 관계를 예측하고 고찰합니다. 이 과정을 통해 궁극적으로 우리 연구실은 미래의 디지털-피지컬 융합 경험을 위한 새로운 인터랙션 디자인, 디자인 인사이트, 디자인 가이드라인을 만들어 나가고 있습니다.

Keywords: 디지털-피지컬 융합 경험, XR/AI 인터랙션, 임바디드 인터랙션, 공간 지능, 디지털 휴먼, 지능형 시스템 디자인, 인간-컴퓨터 상호작용(HCI), UX 리서치, 인터랙션 디자인, 사용자 중심 디자인, 리서치 스루 디자인, 창의성 지원 도구, 인간 역량 강화

ON-GOING PROJECTS
  1. Development of Creator-enhanced Interactions for Convergence Museums through XR & AI Technology (NRF)
  2. Human-centered AI Music Generation Algorithm for Artwork Appreciation
  3. Interactions for Embodied Knowledge Sharing Platform through Agent-based Digital Humans (NRF)
  4. Spatial Sensory Interactions with Gen AI in XR for enhanced Learning and Touring (Yonsei)
  5. Posture-based Searching Interface

TWO DIRECTIONS OF DIGITAL-PHYSICAL CONVERGENCE IN HCI RESEARCH
Digital-physical convergence in HCI can be approached from two complementary directions: bringing digital intelligence closer to people’s everyday worlds, and designing physical systems that become more interactive through digital intelligence. CXD Lab considers both directions and designs experiences according to the context, users, and needs of each situation.
HCI에서 디지털-피지컬 융합 연구는 두 가지 상호보완적 방향으로 생각해볼 수 있습니다. 하나는 디지털 인텔리전스가 사용자의 일상 세계와 더 잘 맞물리도록 설계하는 것이고, 다른 하나는 디지털 인텔리전스를 통해 물리적 시스템을 더 상호작용적으로 만드는 것입니다. CXD Lab은 이 두 방향을 모두 염두에 두고, 상황과 사용자, 니즈에 따라 가장 적합한 경험을 설계합니다.
1 Designing New Intelligent Digital Systems
that Aligns with and Support User World
Vision image 1
2 Designing New Interactive Physical Systems
through Digital Intelligence
Vision image 2

RESEARCH PILLARS
We conduct research grounded in four main pillars, while remaining open to interdisciplinary and exploratory directions beyond these areas.
저희는 네 가지 주요 축을 기반으로 연구를 주로 수행하고 있으며, 이 외에 다양한 다학제 HCI 연구 방향도 진행하고 있습니다.
Pillar I
Empowering Humans

Transforming human thinking and expanding cognitive limits through the convergence of Generative AI and immersive XR.

We explore how AI and XR can expand how people think, create, and experience the world. Rather than treating AI/XR just as tools for productivity or creativity, we investigate how they can open new perspectives, support alternative ways of understanding, and create experiences difficult to access through ordinary perception or cognition. Through this pillar, we study how AI and XR can empower people to engage with information, environments, and themselves in new ways.

생성형 AI와 몰입형 XR이 인간의 사고, 창작, 경험 방식을 어떻게 확장할 수 있는지를 탐구하고 새로운 인터랙션 방식을 디자인하고 제안합니다. 우리는 이러한 기술을 단순한 생산성 도구나 창의성 지원 도구로 바라보는 것을 넘어, 사람들이 새로운 관점에서 사고하고, 기존과 다른 방식으로 정보를 이해하며, 일상적인 지각이나 인지만으로는 접근하기 어려운 경험을 할 수 있도록 돕는 가능성을 연구합니다. 이를 통해 AI와 XR이 사람들이 정보, 환경, 그리고 자기 자신과 새롭게 관계 맺고 상호작용하는 방식을 어떻게 확장할 수 있는지 탐색합니다.

Pillar II
Intelligent Virtual Humans

Developing intelligent digital humans that perform complex roles and coexist with us across physical and virtual realities.

We define digital humans as social entities that perform complex roles beyond physical bodies and coexist with people across real & virtual environments. Beyond everyday communication, we examine how they perceive, decide, and act to create new social value. Moving beyond visual realism, this pillar explores service models where digital humans support, augment, or substitute human roles, and proposes new interaction paradigms for collaboration.

우리는 디지털 휴먼을 단순한 대화 상대를 넘어, 물리적 신체를 대신해 복합적인 역할을 지능적으로 수행하며 현실과 가상에서 인간과 공존하는 새로운 사회적 실체로 정의합니다. 우리는 이들이 현실의 일상 공간에서 인간과 공존하며 소통하는 미래뿐만 아니라, 무한한 가상 환경 속에서도 스스로 판단하고 행동하며 새로운 사회적 가치를 창출하는 것에 주목합니다. 본 연구는 단순한 외형 구현을 넘어, 디지털 휴먼이 인간을 돕거나 대체하여 제공할 수 있는 혁신적인 서비스 모델을 발굴하고, 이에 최적화된 지능형 디지털 휴먼과의 새로운 인터랙션 방식을 제안합니다.

Pillar III
Spatial & Embodied Interaction

Exploring paradigms where physical worlds become an intelligent interface, moving beyond the constraints of 2D screens.

We explore spatial and embodied interactions where everyday spaces, objects, and human movements become part of the interface. Moving beyond 2D screens, we investigate how digital information can be embedded in physical environments and connected to people’s gestures, movements, and spatial behaviors. We study how spatial computing, tangible interfaces, and embodied interaction can create more natural, intuitive, and context-aware experiences in various contexts.

우리는 2D 스크린이나 손 안의 디바이스에 한정된 인터랙션을 넘어, 디지털 정보가 물리적 환경 속에 자연스럽게 배치되고 사람의 제스처, 움직임, 위치, 시선, 그리고 사물과의 관계에 반응하는 방식을 연구합니다. 이 연구는 공간이 단순한 배경이 아니라 정보를 담고, 반응하고, 사용자의 행동을 유도하는 지능형 인터페이스가 될 수 있다는 관점에서 출발합니다. 이를 통해 공간 컴퓨팅, 탠저블 인터페이스, 체화된 인터랙션이 만들어낼 수 있는 가능성을 박물관, 주거 공간, 공공장소, 미래형 인터랙티브 등의 다양한 환경에서 탐색합니다.

Pillar IV
Convergence Experience, Media & Robots

Envisioning immersive experiences where digital content and physical reality converge.

We explore next-generation convergence experiences where XR, AI, robotics, and media technologies blend into everyday life. Beyond a single technology or domain, this pillar covers phygital services, immersive media, robotic interaction, smart environments, and future lifestyle experiences. We study how these technologies can be orchestrated to create practical, engaging, and socially meaningful user experiences.

우리는 XR, AI, 로보틱스, 미디어 기술이 일상 속에 융합되며 만들어내는 미래형 컨버전스 경험을 탐구합니다. 이 연구 축은 특정 기술이나 단일 분야에 국한되지 않고, 피지털 서비스, 몰입형 미디어, 로봇 인터랙션, 스마트 환경, 차세대 라이프스타일 경험 등 다양한 융합적 맥락을 포괄합니다. 우리는 단순한 기술 구현을 넘어, 여러 기술이 어떻게 유기적으로 연결되어 사람들에게 실질적인 도움과 몰입감 있는 경험, 그리고 사회적으로 의미 있는 가치를 제공할 수 있는지 연구합니다.


RESEARCH APPROACH
We are interested in a broad range of design research approaches, from understanding people and contexts to designing, evaluating, and integrating new interactive systems.
CXD Lab은 사람과 맥락을 이해하는 연구부터 새로운 인터랙티브 시스템을 설계, 평가, 통합하는 연구까지 폭넓은 디자인 리서치 접근을 활용합니다.
Envisioning Interactions
by Understanding People
We uncover people’s needs, behaviors, and contexts to envision meaningful future interactions.
  • Interview & observation
  • Participatory Design
Designing and Evaluating
New Proposed Interactions
We prototype new interaction concepts and evaluate how they shape user experiences.
  • System prototyping
  • UX evaluation
Integrated: User-Centered Interaction
Design with Evaluation
We conduct the full research cycle—from understanding users to designing, and evaluating interactive systems.
  • Research-through-Design
  • Mixed Stages

Are you interested in joining our lab?

Explore more about our research vision, interests, research approaches, and application process. We welcome highly motivated students eager to innovate and shape the future through design and technology.

→ About CXD Lab → Join Us → FAQ