disturb some results, we think that extending this study with the 6 other ordering possibilities
might make such effect appear clearly, but would however require a large number of participants.

## 4.3 3D Timelines to Explore 3D Temporal Imaging

In order to illustrate the 3D timeline usage in a real application, we used our visualization method on the two first datasets described in Chapter 2, Section 2.1.3, respectively the recording of the embryonic development of the Phallusia Mammilatta, and the intra-cellular Rab5 recording. Our goal was to gather domain users’ feedback, on how 3D timelines could be used for the exploration of real datasets. A total of 20 biology experts participated, which were either experts in the topic relative to one of these datasets, or specialized in another adjacent biology domain, which allowed us to gather their feedback on the usage of 3D timelines for data analytic purposes. They all had low to no experience with VR.

The visualization of the post-processed dataset is an important part of the analytical process. Initially, as most of the image processing and annotations are automatic, users need to be able to validate, correct and add data manually, for instance to check for errors in segmentation which could lead to abnormal cell shapes. Then, the 3D nature of the data and high temporal resolution allows a general observation of the main dynamics involved in biological processes through different angles, giving insight and understanding of the evolution of the embryo. Specific regions of interest can be identified through the exploration of the cells, their surrounding and their evolution in time. Thus, information such as outliers or asymmetrical behaviors between sister cells can be extracted, as shown in Figure 4.8, to be ultimately compared either with a ground truth, a model, or other samples potentially acquired in different setups. We attempted to include as many tools as possible to support such analysis, in order to put analysts in situation and get more insightful feedback regarding the 3D timeline visualization.

4.3.1 Application and Timeline Design

The application used in the experiment was extended in order to better support the analysis
of the S4D datasets. First, the user could choose the annotated information displayed through a
3D GUI. Their choice will change the color-mapped information. Second, we also implemented
an object filter operation to decrease the amount of information displayed on the timeline. User
could select a cell or endosomes on the 3D snapshot to select the whole **4D object**, including
parent and child cells, at each time point. For the meshed embryo dataset, only the cells were
<figure><img src="image_42.png" /><figcaption>Figure 4.6 – Embryo at the 30th time point. The snapshot at the central time point shows 2 groups of are selected symmetrically as to compare their individual evolution. They are displayed on a **Circular Convex Faceted** timeline, **linear** scale, **vertical plane** support. The information color-mapped is the remaining lifespan before division (colormap *viridis*).</figcaption></figure>

displayed (see Figure 4.6); for the volumetric intra-cellular data, a bounding box around the endosomes or the group of endosomes selected was displayed (see Figure 4.7).

From the datasets and the different use case analyzed, we proposed the following timeline design. As the datasets observed comes from imaging taken at regular time step, the scale dimension of our design is thus intrinsically **chronological and sequential**. Considering the tasks described in the previous section, we considered two layout choices, one that could allow comparison between 4D objects, and another for an analysis of the spatial context, respectively **faceted** and **unified** layout. The choice in representation is influenced by the amount of time points and the size at which the objects have to be displayed for a proper visualization. A helicoid representation could handle the amount of time points, yet it is not optimal to use with a faceted layout if the user wants to compare many objects, in which case we preferred a curved representation. Finally, we end up with two 3D timeline designs: (1) helicoid unified, chronological and sequential, cylinder support (Figure 4.6) and (2) curved faceted, chronological and sequential, vertical plane support (Figure 4.7, right).

Finally, taking advantage of the large work space offered by immersive environment, we juxtaposed the 3D timeline with the 3D snapshot at an instant or interest, as shown in Figure 4.6. The timeline provides with temporal context, and the 3D snapshot provides with spatial context,
giving a more complete point of view to the user. In the following, we will describe examples of
processes for analysis relying on the timeline visualization. The accompanying video provides
additional insights on the different examples.

<figure><img src="image_43.png" /><figcaption>Figure 4.7 – A selection in the intra-cellular volumetric image (left) displayed in a **Helicoid Unified** timeline, **linear** scale, **cylinder** support (right). The information color-mapped is the distance to the mitochondria (colormap *viridis*).</figcaption></figure>

**4.3.2 Finding Regions of Interests in Large Datasets**

Defining a region of interest is a classic visualization task, especially difficult when exploring large multidimensional datasets. On this use case, regions of interest were defined both in the 3D space and in time. We proposed an iterative interaction process to define and refine them, both in time and in space, using 3D timelines in VR.

Initially, the user selects a few objects via ray-based selection as well as an adapted layout for the 3D timeline. The first step of the exploration consists in a broad overview of the objects and color-mapped values displayed over the timeline, supported by the exploration techniques
detailed in Section 4.1.2. During this step, the 3D snapshot will follow the gaze of the user, in order to keep spatial context while exploring the global temporal context. Such global exploration can help eliminating some features, through value filtering or by collapsing the timeline at places nothing of interest happens, as described in Section 4.1.2, and identify some time points of interest. In the second step of this process, a time point can be brought in front of the user easily through a gaze and click interaction. The user is thus near a selected local temporal context, visible on the timeline, and the 3D snapshot is displayed in front of the user, allowing the refinement of the object selection, i.e. of the local spatial context. Further refinement of the spatio-temporal context can be done by repeating this process.

Overall, the timeline should give enough temporal context to find times of interest, and the 3D snapshot enough spatial context to find regions of interest. The juxtaposition and synchronization of interaction of the two visualizations, the timeline and the 3D snapshot, allows the search and definition of a spatio-temporal region of interest.

### 4.3.3 Comparing Objects

Comparison is also a usual analysis task in visualization, yet Kim et al. [75] report that this topic is quite underexplored in the case of S4D datasets. Timeline visualizations intrinsically juxtapose and allow a comparison between the selected objects or regions of interest at various time points. Depending on the temporal distance, such comparison can be supported by adequate 3D timeline designs, especially in the case of periodic data, as discussed in Section 4.1.3. Otherwise, interactive level-of-detail and timeline collapse methods described in Section 4.1.2 allow to choose specific time points to compare.

However, the task of comparing 4D objects is more complex, requiring to compare both temporal and spatial features that need to be identifiable in each of the compared objects. For example, using a faceted layout, the 3D timeline visualization allows the comparison of selected 4D objects or regions of interest, extracted from one or more datasets. The user can create a side-by-side view of the objects of interest, and manipulate them in coordination, according to methods described in Section 4.1.2. It enables a direct comparison of the 4D objects through several timeline branches, allowing to compare both the spatial information at each time point, and the evolution over time of the objects.
<figure><img src="image_44.png" /><figcaption>Figure 4.8 – Two sister cells are selected and displayed on the timeline. The information color-mapped corresponds to the fate of the cells. The selected ones start without annotation and are determined after a first division. The tree-like structure of the timeline shows the asymmetry of the division, with one cell significantly larger than the other.</figcaption></figure>

### 4.3.4 Fusion and Fission

A particularity of the considered dataset is the notion of lifespan, as cell fusion and fission events will modify the number of 3D objects in a given time point. We approached this issue considering that selected 4D objects comprise all of the 3D objects involved in the event, creating different branches. In case of a fusion event, the object will have two branches before and one after the event; in case of a fission, there will be one branch before and two after the event. We propose an adapted layout for the 3D timeline design to represent the branches. The resulting layout is a graph of temporal relation between the objects in the dataset. In our specific use case, as there is mostly fission events, i.e. cell divisions, we end up with a tree visualization, oriented along a timeline, as shown in Figure 4.8. This visualization is similar to a lineage tree [167] displaying and allowing comparison of the cell shape evolution, which was one of the main tasks detailed for the use case.

### 4.3.5 Expert Feedback

In this section, we gather and summarize the feedback obtained during the evaluation sessions. They participated in sessions of about an hour by groups of 2 or 3, in order to try the application and discuss potential application of 3D timeline visualizations in their respective fields. We presented them the dataset used and the application controls, and let them explore the data using
the timeline designs proposed and the analytic techniques described previously.

The embryology specialists were overall positive about the visualization. They could analyze
value evolution over different cells, as in Figure 4.1, identify outlier behaviors, and obtain
information about a cell differentiation, as shown in Figure 4.8, where an undetermined cell is
selected and differentiate itself after division. They also considered how such visualization could
help in comparing multiple embryos, which they can hardly do with their current visualization
tools. The specialists from other domains could not go into such details with this dataset, yet
they projected how they could benefit from 3D timelines for their own data. They quoted several
examples of adapted use case with other S4D datasets such as imaging of organoids [176], in
context of immunology or cancer research. They also mentioned how 3D timelines could help
visualize colocalization over time of objects of different nature in multi-channel imaging.

Most of the drawbacks reported were about improving the application design to integrate it
in the analysis workflow. Several key points in the analysis process should be included to answer
completely the use case, including raw data visualization, standard data formatting or annotation
options. The integration of VR equipment is also an obstacle, yet several people mentioned they
would be willing integrate it in their work stations if the mentioned options were implemented.

4.4 Conclusion

In this chapter, we proposed an extension of the 2D timeline design space proposed by Brehmer et al. [111] into a 3D timeline design space, focusing on their use for S4D dataset visualization. To do so, we extended the *representation* dimension, using 3D curves as guiding lines for timelines, and introduced an additional dimension describing the 3D geometry on which several timeline branches could be displayed, named *support* dimension. We proposed to use these timelines in a VR environment, leveraging the benefits of the material to enhance the exploration and interaction with such structures. Relying on 3D interaction techniques, we also proposed an interaction process to explore the timeline and define spatio-temporal regions of interest. We tested two 3D timeline designs against a baseline visualization based on a 3D render and time slider, on tasks oriented toward the exploration of a S4D dataset. The experiment results led us to conclude that 3D timelines significantly improved the achievements of tasks requiring to explore the local temporal context, yet could not conclude on the benefits of one or the other timeline. Finally, an application implementing 3D timelines and adequate interaction methods on a embryo S4D dataset was tested by 20 biologists. Their feedback was very positive, both for the specific datasets illustrated but also opening to various use cases in other biology domains.
<figure><img src="image_45.png" /></figure>
# SPACE-THEN-TIME: TOWARD SELECTION METHODS FOR PUNCTUAL EVENTS IN 3D TEMPORAL DATA THROUGH 3D INTERACTION

<table><tr><td>5.1</td><td>Time-then-Space or Space-then-Time?</td><td>100</td></tr><tr><td>5.2</td><td>Visualizing the Right Data</td><td>100</td></tr><tr><td>5.3</td><td>Selecting 3D Information</td><td>102</td></tr><tr><td>5.4</td><td>Disambiguation in Time</td><td>103</td></tr><tr><td>5.5</td><td>Implementation Details</td><td>105</td></tr><tr><td>5.6</td><td>Conclusion</td><td>105</td></tr></table>

In this chapter, we propose a method to improve the selection of 3D temporal events features that appear punctually in time, i.e. 4D objects with small temporal component. For simplicity and even though these objects might not be punctual in the 3D space, we will refer to them as “punctual 4D objects”. Visualizing these objects individually is thus mostly reliant on 3D visualization, but selecting them in the potentially large time dimension of a 3D temporal dataset can be quite challenging.

Therefore, we propose an interaction process to improve the selection of punctual 4D objects, based on a spatial selection first, and then a temporal disambiguation, as opposed to an exploration in time and then selection in space in usual visualizations. We identified 3 main axes to approach the design of such selection method, namely how to visualize the 3D temporal data to support this selection method, how to select in space, and finally how to select in time. In the following,
we explore and propose different methods that could efficiently be used to approach each of the three axes. We illustrate our argument with images based on the astrocyte recording and calcium signal simulation dataset, the third one described in Chapter 2, Section 2.1.3.

## 5.1 Time-then-Space or Space-then-Time?

Traditional methods usually explore 3D temporal datasets by first exploring in time until noticing a 3D region of interest. In the case of punctual 4D objects, this can be particularly challenging. Figure 5.1 illustrates a calcium signal of type *wave*, supposedly longer than other types of signals, yet only lasts for 4 time points out of the 100 of the dataset. In this context, lookup tasks are especially difficult: relying on a naive temporal exploration, finding such object consists in a spatial exploration multiplied by the number of time points in the dataset, i.e. a 1D x 3D exploration task. The approach we propose in this chapter consists of an interaction process starting with a selection in space, then a disambiguation in time, overall a 3D + 1D exploration task.

Such interaction process implies several issues:

- The selection in 3D must be done without exploration of time. How does the user have the information about where is the object they are looking for? In other words, what information should be visualized for the user to do such selection?

- What 3D information needs to be selected before exploring time? How the selection in 3D will allow the identification of the correct zone in time?

- Once the 3D selection is correctly made, how to explore the temporal dimension remaining? How to disambiguate between the potentially selected objects in time?

In the following, we discuss methods that could be used to handle each of the three main axes described.

<figure><img src="image_46.png" /><figcaption>Figure 5.1 – Complete lifespan of 4 time points of a calcium signal of type *wave* (blue), in the imaging of the astrocyte.</figcaption></figure>
## 5.2 Visualizing the Right Data

In this section, we approach the issue of the visualization of the data to support the 3D space selection step of the interaction process. The challenge here is to display sufficient information for the user to identify the 3D position related to the 4D object they are looking for. We discuss here several methods that could help in tackling the issue, based on either dimension reduction, juxtaposition or dynamic approaches.

**Collapsing the Information** Dimension reduction consists in a transformation of the data in order to obtain a lower-dimension displayable visualization, as we did in Chapter 3, collapsing the STH into a STC according to a user-defined plane. However, the STC visualization we proposed in Chapter 3 would not be adapted to represent punctual 4D objects, as they would only appear in only a few slices of the volume. Nonetheless, collapsing the STH along the time axis could reveal elements appearing at any moment in time. A direct collapse along time would show efficiently where objects are in space, yet with a large number of objects, the visualization would be too dense to exploit. Collapsing into a density map, as shown in Figure 5.2, give a less cluttered visualization, yet places where few punctual 4D object appear might be difficult to discern, even with an adapted transfer function.

**Animation-based methods** Animations could show all of the information regarding object positions quite quickly, and give enough insight for the user to identify a region of interest in space. The user could control the playback speed, define a windows of time to display, or even control directly the time point displayed with a slider. Time warping methods, such as Memento [100], could also enhance the animation, allowing the user to slow time in moments of interest, and speed up moments when nothing appears. Such speed adjustments can be defined either manually through a control of curves, or through automatic methods, computing a cost function according to the amount of 4D objects present at each time point. Nonetheless, such dynamic approach might create mental workload since the user needs to remember what appears along the animation to estimate the relevance of a region of interest.

**Small multiples** The small multiple approach would allow us to divide the issues of the previously described methods by multiplying the number of views. The density map could be separated into multiple density maps, each computed along a temporal window, thus creating a partition of the temporal space. This method could highlight more properly the punctual 4D objects appearing along each temporal window. On the other hand, small multiples could support
the time-warping based method separating the 3D space into multiple sections. Each section
could be provided with a different playback speed curve, slowing down and highlighting events of
importance in the local spatial context. However, multiplying the views also implies multiplying
the number of spatial explorations required, meaning a compromise needs to be found not to
counter the benefits of the space-then-time selection method.

<figure><img src="image_47.png" /><figcaption>Figure 5.2 – Density map of the calcium signals (blue), with and without the astrocyte imaging, respectively top and bottom.</figcaption></figure>

**5.3 Selecting 3D Information**

Based on one of the visualizations discussed in the previous section, the user should have enough information to select spatial information related to the punctual 4D object of interest. In this section, we propose ways for users to select enough spatial information to identify as precisely as possible the object required. We discuss methods based on a brushing interaction, on the placement of landmarks, or on the definition of a trajectory.
**Brushing** Brushing selection is often used for selection or annotation tasks in volumetric or point cloud data. The user marks a zone in the volume through natural 3D interaction, as illustrated in Figure 5.3, with a brushing selection appearing in yellow over the density map visualization. The 4D objects selected can be chosen through intersection between the brushed zone and the object at one time point, or at all time points, depending on the level of selectivity required. The brushed zone can be selected to match the movement of the object, helping to describe in a versatile way the behaviors of various types of 4D objects. Nonetheless, no temporal or directional information is provided with a brushing selection, which can be lacking in some use cases.

**Placing Landmarks** Like the brushing selection, the placement of landmarks is a simple interaction that takes advantage of natural 3D interactions and stereoscopic vision. The position of the landmarks can then be compared to the center of gravity of the objects at each time point to define which objects are selected. This approach is faster than brushing, yet gives less spatial information, so it might be less precise. Moreover, it shares the same drawback as brushing, regarding the lack of temporal and directional information.

**Drawing a Trajectory** The definition of a trajectory by the user can be done either by placing a series of landmarks, of by free drawing. This interaction is more difficult than the previous ones, yet includes temporal information. It can be especially relevant in use cases where the user aims at selecting objects showing a specific behavior, or following a certain direction, such as a dendrite of the astrocyte in the illustrating dataset.

## 5.4 Disambiguation in Time

Multiple objects might match the spatial selection made by the user, since different objects might appear at the same place but at different instants. The next step of the selection consists in exploring in time in order to choose among the matching 4D objects. In this section, we describe various methods that could support the disambiguation in time, with manual methods based on either lists of information or visualization of the 4D objects, or through automatic methods.

**List of the objects** A first option to disambiguate is to list the related objects, for example on a side panel, with textual information specific to the 4D object, such as a name or identifier, lifespan start, end and duration, or any other categorical or numerical information. The selection
<figure><img src="image_48.png" /><figcaption>Figure 5.3 – Brushing interaction on the density map. The user is represented with a brush tool, and their selection appears in yellow on the density map.</figcaption></figure>

can then be done by scrolling and clicking on the required 4D object. If this method does not include directly any visualization of the 4D object, the textual information displayed can actually be more critical for the selection of the 4D object in the analytical process.

**Timelines** The selected 4D objects could be displayed using 3D timelines. A faceted layout could allow their juxtaposition and comparison. The objects could be aligned along their starting points using a relative scale, with adequate labels on the initial time point. Using a cubic support, the 4D objects could be arranged according to a categorical information, for instance by type of calcium signal in our illustrating dataset. The representation is overall less relevant here, since the objects have very short lifespan.

**Automatic methods** With the information provided by the spatial selection, 4D objects could be ordered to identify the one most corresponding to the user input. This ordering needs to be based on a scoring function, which parameters depend on the spatial selection method used. For example, with the brushing selection, we can compute the intersection between the selected zone and each 4D object. Therefore, the number of pixels intersected, the proportion of the object covered by the selection, the proportion of over selection can influence the scoring. In
the case of landmarks or trajectory, the distance between the center of gravity of the object and
the landmark, or corresponding time point of the trajectory, would be a major parameter for the
scoring function.

Nonetheless, to avoid imprecision by selecting the highest score, we could use this ordering
to complete the timeline or list approach to finish the disambiguation. To avoid aberrant selection,
either the top few objects would be displayed, or the ones over a certain threshold.

**5.5 Implementation Details**

We implemented the functionalities shown in the illustrations of this chapter, in order to
test for technical feasibility. The dataset used in the illustrations of this chapter contains 100
images of size 170 x 512 x 48, resulting in a 1.6GB dataset. The images are rendered through
direct raycasting algorithm, maintaining 90FPS, on a computer equipped with a NVidia GeForce
RTX2080 GPU.

Relying on GPU computation, the density map is also computed interactively, i.e. less than
10ms. Therefore, the time window included in the density map could be changed by the user
interactively. But it also implies that a whole range of complex computations involving the whole
100 images could be implemented and executed without disturbing interaction. Especially, the
information necessary for the cost function described in Section 5.4 could be recovered and the
disambiguation computed without delay, which is necessary for the quality of the interaction.
Nonetheless, further tests in an actual implementation of the method and with bigger datasets
might be required to evaluate actual technical limitations.

**5.6 Conclusion**

In this chapter, we analyzed the task of selecting punctual 4D objects and detailed a set of
methods that could be used in order to achieve such task. We propose an interaction process
consisting in a space-then-time selection: it is composed of a compact visualization of 3D
temporal data, supporting a selection of spatial information, and ending with a disambiguation in
time to choose the relevant 4D object. We proposed several methods that could handle each of
these three tasks. For each, we discussed the benefits and drawbacks to consider when using an
interaction process based on the space-then-time model for an analytical use case. Nonetheless,
formal evaluation is required to confirm the benefits of a space-then-time selection compared to
traditional selection methods in the context of punctual 4D objects.
<figure><img src="image_49.png" /></figure>
# CONCLUSION

This thesis presented a series of contributions to the issues regarding the visualization and interaction of 3D temporal data, following three main research questions, regarding how to represent the data, how to visualize them and how to interact with them.

## 6.1 Contributions

In Chapter 2, we reported works from the literature to describe the context of the research domains surrounding this thesis subject. We first presented the definitions and main research challenges in the domains of Visualization, Visual Analytics and Immersive Analytics, and detailed the benefits of the latter in terms of perception and interaction. We then described techniques to visualize the temporal dimension in general types of datasets, focusing on the static temporal visualization methods of Space-Time Cube and Timelines. Finally, we presented Immersive Analytics applications and techniques developed in the context of scientific visualization, information visualization, and also applications exploring collaborative visualization.

In Chapter 3, we presented the Space-Time Hypercube representation as an extension of the Space-Time Cube for 3D temporal data. We used this representation as a support to create new visualizations, relying on a projection from 4D to 3D data defined interactively by the user. This projection consists in capturing a cut-away view of the 3D data at each time point and stack them into a Space-Time Cube. We proposed to integrate this resulting volume in an immersive environment to take advantage of the perceptual and interactive benefits of Virtual Reality, and implemented a set of general tools adapted to its exploration. A user-study with naive participants was designed to evaluate this method through a biology use case, and biology experts also provided with feedback on the visualization for its use in an analytical context.

The results of these evaluations and feedback led us to conclude that the method was particularly useful in the visualization of 3D temporal features with large temporal component, such as movements of the general structure, behaviors of entities or quantitative values evolving over time.
In Chapter 4, we proposed a design space for 3D timelines. This design space extends the existing one for 2D timelines, by exploring ways to display a timeline in a 3D environment, notably taking advantage of the large workspace of immersive environments. We suggested that such 3D timelines can support the visualization of 3D temporal data, using the representation of 3D temporal data through 4D objects. We introduced interaction processes leveraging the interaction benefits of the high-degree of freedom viewpoint and inputs of VR devices, in order to efficiently explore the timeline and select regions of interest that can be defined both in space and time. We reported a user-study evaluating 3D timelines on general visualization tasks, as well as informal evaluations from biology experts on the exploration of biology imaging datasets using 3D timelines.

The results of these studies suggest that 3D timeline visualizations and the interaction pro-
cesses associated were useful for the exploration of the data, notably on tasks requiring the
analysis of a local temporal context, i.e. 3D temporal features of short to medium temporal range.

In Chapter 5, we discussed an interaction method to select objects that are punctual in time. This method relies on a selection process starting with a 3D spatial selection and then a temporal disambiguation, as opposed to traditional selections involving a temporal exploration then selection in a 3D render. We discuss the three main components of the method, namely how to display enough information for the spatial selection, how to select spatially and then how to select temporally. We expect this interaction method to effectively support the selection of 3D temporal features with short to punctual temporal range.

Additionally, despite the fact that the question of representation of the 3D temporal was not the main focus of the contributions described above, we did nonetheless propose several approaches through this manuscript. We approached the issue of representation of 3D temporal data in Chapter 3 through the Space Time Hypercube representation, which uses the temporal dimension as a Euclidean dimension resulting in a 4D volume. This approach supports the creation of visualizations extracted from a 4D structure, as we showed in Chapter 3. This representation approaches the dataset in its entirety, and thus was adapted to 3D temporal features with large temporal and spatial importance. In Chapter 2, Section 2.1.3, we developed a representation of the data through 4D objects. These 4D objects represent 3D temporal features that appear in the datasets, and consist in the definition of a continuous 3D shape, and its associated occurrences continuously over time. This approach revealed itself more adapted to support visualization and interaction of most types of features existing in the datasets we worked with. It allowed a logic
partitioning of the data which could be used to exploit juxtaposition techniques in visualization,
as shown through Chapter 4 on 3D timelines, or to support filtering operations.

**6.2 Perspectives**

Our contributions proposed several approaches answering partially the main research ques-
tions we presented at the beginning of this work. This section presents future works that could
be pursued on our contributions and on the research questions.

**6.2.1 Short-Term Perspectives**

— First, in Chapter 3, we introduced a projection operator for the STH. A limitation of this operator is that it implies an important loss of spatial information, involving a difficulty for the user to define properly the projection. It can be sensible to strong motions as objects close to the cutting plane that can result in wrong interpretations (e.g. an object shrinking when it is just moving away from the clipping plane). Future works should explore how to adapt the projection operation according to their analytical needs. For example, the clipping plane could be adjusted over time to track an object of interest or take into account the internal motions of the objects, potentially extending the cutting plane to an arbitrary surface. More use-case-dependent approaches for the projection operator could result in more user-friendly interactions, but also in visualizations that are more robust and precise regarding the highlighting of 3D temporal features. Furthermore, the main purpose of using the STH in an immersive virtual reality context was to take advantage of the increased depth perception [46, 105] and interaction capabilities [141]. Although we exploited those two characteristics, we did not fully exploit the large workspace provided by immersive VR. In this direction, a number of additional follow-up works could be envisioned. Multiple STC visualizations could be juxtaposed either generated by different projection operators, or encoding different qualitative and quantitative data. Exploded views or other methods to reduce visual clutter [9] could also be considered. These propositions would provide new means to explore and interact with the STC visualizations.

— In Chapter 4, we proposed a design space for 3D timelines, notably based on the design space for 2D timelines proposed by Brehmer et al. [111]. As opposed to said design space, we are not classifying existing examples of timelines. By extending the 2D design space, we could propose a mostly usable and general 3D design space, yet it also implies our
design space might be less exhaustive. We suggest that both the representation and support
dimension could be even further explored, exploiting the 3-dimension space through even
more innovative ways. We notably expect that the use of the method on different types of
dataset, or the tackling of different analytical use-cases, could inspire other design choices,
which would also enrich our design space. Furthermore, future works could improve and
enrich the interaction pallet we provided. The use of 6-degree-of-freedom 3D interface
allowed us to implement efficient yet basic exploration and manipulation of S4D datasets
for general tasks. However, the literature proposes finer techniques, notably for selection
and navigation [39], that could be more adapted notably depending on the 3D timeline
design choices. Nonetheless, our evaluation only showed the usability of 3D timelines in
general cases. Yet, a comprehensive evaluation of the design space would be interesting to
properly evaluate the benefits and drawbacks of each component of the design.

— In Chapter 5, we proposed a method for the selection of punctual events through a space-
then-time interaction process. The method is still at a stage of conceptualization and
prototyping. Each component of the selection method could be explored further. The
information visualized could be adapted depending on the features to be observed, or
could be designed to support other spatial selection methods. The disambiguation in time
could rely on a cost function refined through machine-learning algorithms, although it
requires recorded interaction information, preferably on various datasets. Finally, the
method requires an evaluation, in order to compare the different propositions evoked in
Chapter 5, and to compare with a traditional time-then-space selection.

6.2.2 Long-term Perspectives

On the issue of representing 3D data, our 4D object approach allowed to qualify a wide
variety of 3D temporal features, yet presents multiple limitations. First, parts of the datasets we
presented could not be qualified into 4D objects, and more specifically elements of background.
Indeed, our approach relies on both existing separation of elements of interest, and also tracking
information of these elements. Some datasets can include such information by design, notably
trajectory or mesh-based datasets. On the other hand, other types of datasets, such as point
clouds or volumetric, require the use of segmentation and tracking algorithms, often followed by
manual curation of the output. We believe that a unified approach for 3D temporal features would
greatly help further research on 3D temporal data. Methods could be shared easily between
domains, either on the topic of segmentation and tracking algorithms, or about visualization
and interaction techniques. Furthermore, a unified approach could encourage optimizations on analysis and rendering algorithms, but also support easier communication between domains and help research reproducibility. Eventually, we identify two main directions to improve the representation of 3D temporal features. A first objective would be to explore more the notion of 4D objects, generalizing the approach to other types of 3D temporal datasets and features, e.g. trajectory datasets or point clouds, which we did not approach here. A second objective would be to propose methods to qualify background and contextual elements, which can difficultly be qualified as 4D objects. As the 4D object approach is probably not exhaustive to represent all the features in 3D temporal datasets, a complementary approach might be necessary to include the information in the analysis of the complete dataset.

Moreover, future works should focus on the issue of comparison. Among the methods we proposed, 3D timelines could allow comparison of 4D objects taking advantage of faceted time-line designs. Nonetheless, further methods could improve the comparison of multiple datasets, for example to compare a dataset to a ground truth, or two simulations with different parameters. Comparison could extend existing 3D comparison methods, involving 4D set operations (e.g. intersection, exclusion). Else, it could exploit the large workspace of virtual environment for juxtaposition-based methods. Adapted 3D interaction methods could be synchronized along the multiple views of the multiple datasets displayed, further supporting comparison. Furthermore, there is a need for comparison of the additional categorical and numerical data related to each object. Colormaps can easily encode one dimension of information, and switching from one information to the other makes for a difficult comparison, according to the "Eyes Beat Memory" slogan. Such comparison could rely on juxtaposing two copies of the same object with different colormaps, use multi-variate colormaps, juxtapose two colormaps on a same object through adequate texturing, or involve other perceptual channels (e.g. sound, haptic feedback). Perceptual studies will then be required to evaluate the optimal solution according to different use cases.

## 6.3 About Visualization in Bioinformatics

During the conception and the evaluation of the works presented in this thesis, we interacted with biology experts regularly, in order to get insight on the main issues they encounter as well as feedback on the methods we proposed.

On our side, we understood progressively along this collaboration the variety and struggles around 3D temporal datasets. They involve lots of different issues, as such datasets have a wide variety of topologies and specific analytical use cases. Actually interacting with the datasets
and discussing with the specialists behind them completed our point of view on how to answer
our research questions. Furthermore, as we presented a VR application to users naive to the
technology, a “wow effect” was often the first reaction we could get, especially when demonstrat-
ing visualization occupying the whole space and with some basic navigation and manipulation
controls. Yet, over the successive demonstrations, the domain experts started mastering the
tool and actually realizing the potential behind the technology and the methods we developed,
sometimes provoking a deeper interest in it. The feedback got more and more precise regarding
the issues we were tackling, and also regarding how to improve our method and application for
end-users.

Consequently, and as we reported in the related parts in Chapter 3 and 4, an important part
of the feedback concerned enhancement of the application. The remarks were either related to
quality-of-life improvements, i.e. simplify some interactions, make them more user-friendly or
add more controls on some parameters, or were related to adding features present in their usual
software. In order to integrate Immersive Analytics tools in experts’ workflows, efficient methods
are not enough: the application has to either implement a complete workflow, and preferably be
compatible with the other software used. Among the most important missing features, annotation
was the most noticed: seeing is not enough, analysts need to keep trace, place markers and
actually add information. Indeed, their objectives with visualization software are notably to
curate the results of automatic algorithms, in order to create ground truth, support the analysis of
further datasets and communicate with other analysts.

Reflecting on this fruitful collaboration, we suggest that works of Immersive Analytics
should make an effort on the realization of user-friendly applications. It should notably integrate
important features that are often overlooked, as Fonnet and Prié [58] pointed out a lack in the
literature around tasks of Aggregation, Annotation, Import, Derive and Record. Moreover, the
collaboration and regular demonstrations with the end-users is crucial along the development
of the methods and the application: first, it ensures that the development is made in the right
direction to answer the needs and research issues of analysts; second, it helps the solicited
end-users to get used to the methods and the associated material; third, it opens the mind and
grab the interest of end-users, as they can see and experiment themselves the potential of the
techniques, through diverse use-cases and datasets.
## 6.4 Concluding word

3D temporal datasets are becoming more and more common ground, allowing new points of view and potentially leading to discoveries in various fields. With these new issues, the human capacity will be challenged, and Immersive Analytics have the potential to give new tools to approach them. Yet is still in a middle position between Mixed Reality and Visualization innovations. We hope this work will participate in the development of this field, and motivate others to keep pushing in this direction.
<figure><img src="image_50.png" /></figure>
AUTHOR'S PUBLICATIONS

**Peer-Reviewed Journal**

— **Gwendal Fouché**, Ferran Argelaguet, Emmanuel Faure, Charles Kervrann. *Immersive and Interactive Visualization of 3D Spatio-Temporal Data using a Space Time Hypercube*. Frontiers on Bioinformatics, 2022, vol. 2.

— Valades-Cruz*, Cesar Augusto*, Ludovic Leconte*, **Gwendal Fouché***, Thomas Blanc*, Nathan Van Hille*, Kevin Fournier, Tao Laurent et al. *Challenges of intracellular visualization using virtual and augmented reality*. Frontiers in Bioinformatics, 2022, vol. 2. (* These authors have contributed equally to this work and share first authorship.)

**Peer-Reviewed Conferences**

— **Gwendal Fouché**, Ferran Argelaguet, Emmanuel Faure, Charles Kervrann. *Timeline Design Space for Immersive Exploration of Time-Varying Spatial 3D Data*. In Proceedings of the 28th ACM Symposium on Virtual Reality Software and Technology (pp. 1-11), 2022.

**Miscellaneous**

— Audinot, Alexandre, Diane Dewez, **Gwendal Fouché**, Rebecca Fribourg, Thomas Howard, Flavien Lécuyer, Tiffany Luong et al. *3Dexterity: Finding your place in a 3-armed world*. In 2020 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW), pp. 521-522. IEEE, 2020.

— Cheymol, Antonin, **Gwendal Fouché**, Lysa Gramoli, Yutaro Hirao, Emilie Hummel, Maé Mavromatis, Yann Moullec, Ferran Argelaguet, and Florian Nouviale. *The Rubber Slider Metaphor: Visualisation of Temporal and Geolocated Data*. In 2022 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW), pp. 904-905. IEEE, 2022.
<figure><img src="image_51.png" /></figure>
# RÉSUMÉ EN FRANÇAIS

## Introduction

### Pourquoi cette thèse?

Cette thèse, intitulée "Visualisation immersive et interactive de données 3D temporelles", présente les contributions de recherche que nous avons proposées pour aborder les questions relatives à l'immersion, la visualisation et l'interaction avec des données provenant d'autres domaines scientifiques. Dans cette première section, nous introduisons les principales parties du titre de cette thèse, fournissons des éléments de définition pour chacun de ces termes et illustrons l'inspiration qui nous a conduit à explorer le sujet.

**Pourquoi des données temporelles 3D ?** Les ensembles de données augmentent en taille et en dimensions, et de plus en plus d'analystes ont des difficultés à traiter leurs données. Tout un champ de recherche, le Big Data, explore notamment les méthodes d'analyse des ensembles de données composés d'énormes quantités d'entrées de données. Nous avons choisi de nous concentrer sur la question émergente des jeux de données temporelles 3D. Les données temporelles 3D sont adoptées dans de nombreux domaines, comme l'imagerie biologique par microscopie, l'imagerie médicale ou les informations géographiques à l'échelle macro. Comme la technologie pour traiter les données temporelles 3D arrive à maturité, le nombre de jeux de données existants de ce type augmente, et avec lui l'intérêt pour ce sujet. La taille des ensembles de données, mesurable parfois en téraoctets, peut maintenant être acquise, stockée et affichée grâce aux techniques matérielles et logicielles développées au cours des dernières décennies. Ces ensembles de données sont riches en informations et pourraient donner un nouveau point de vue sur de nombreux sujets que nous pensions déjà maîtrisés. Pourtant, le développement de méthodes permettant d'analyser correctement ces données reste un véritable défi.
**Pourquoi la visualisation ?** La vue est le sens le plus important, puisqu'elle fournit plus de 80% des informations perçues, selon Rosemblum [1]. Les gens veulent toujours voir, car c'est le moyen le plus facile de comprendre les objets, les mécanismes, les phénomènes, en fait la plupart des choses qui se passent et existent autour de nous. En effet, voir est en réalité une tâche complexe, impliquant l'observation, l'extraction d'éléments d'intérêt, leur analyse, leurs caractéristiques physiques, leur activité et leur lien avec le contexte environnant. De nombreux jeux sont conçus autour de la difficulté de cette tâche, de "Où est Charlie" aux jeux de tir, ou même lorsqu'on cherche une pièce de Lego dans une énorme boîte (voir Figure B.1). La visualisation est le domaine qui tente de formaliser et de résoudre ces problèmes quotidiens en s'appuyant sur la vision, dans le contexte de l'analyse des données. Comme nous l'avons mentionné plus haut, les ensembles de données sont de plus en plus volumineux et complexes, de sorte que les analystes de divers domaines ont du mal à gérer leurs données, ce qui crée de nouveaux défis pour la visualisation.

<figure><img src="image_52.png" /><figcaption>Figure B.1 – Le défi de trouver cette pièce-là.</figcaption></figure>

**Pourquoi l'interaction ?** L'interaction constitue l'ensemble des actions consistant à déplacer, saisir ou pousser des objets. Ces actions peuvent favoriser l'observation. Par exemple, pour trouver la pièce de Lego manquante, les gens fouillent dans la boîte, jusqu'à ce que cette pièce spécifique ne soit pas cachée et qu'elle soit dans une position et une orientation que votre œil peut facilement discerner. Les interactions permettent de développer des stratégies pour trouver des éléments pertinents dans un grand ensemble d'informations. Pourtant, voir un élément d'intérêt n'est que la première étape. L'interaction aide également à comprendre la nature de cet élément
particulier. Tourner l'objet pour en discerner la forme, le faire bouger, exercer une pression, sentir la surface, le lancer... Autant d'actions que ferait un bébé en découvrant un nouveau jouet. Par conséquent, l'interaction avec les données est cruciale pour soutenir les différentes étapes de la visualisation, autant qu'elle est naturelle.

**Pourquoi l'immersion ?** L'immersion est la capacité à s'adapter à un environnement différent de l'habituel, avec des règles et des références différentes. L'être humain s'adapte très vite à de nouveaux environnements, et notamment à des environnements simulés. Les notions de présence, c'est-à-dire le sentiment d'être là", et d'incarnation, c'est-à-dire le fait de percevoir un avatar comme soi-même, sont étudiées en profondeur avec les environnements virtuels. Dans le contexte de l'analyse de données, l'immersion peut nous aider à comprendre des modèles d'objets d'échelles très différentes, d'un système planétaire à des entités se déplaçant dans une cellule. Les technologies supportant les technologies immersives ont également beaucoup mûri ces dernières années. Les écrans montés sur la tête ont désormais une haute résolution, une fréquence d'images élevée et un faible coût. Ces écrans stéréoscopiques affichent deux images 2D, une pour chacun de nos yeux, ce qui simule la même "3D" que nous avons l'habitude de voir. Les dispositifs de suivi suivent les mouvements de notre tête, de nos mains et de l'ensemble de nos mouvements avec une grande précision et une faible latence. Dans l'ensemble, l'immersion simule les visuels d'une manière similaire à celle de nos yeux, ainsi que l'interaction naturelle eturnaturelle. Cela peut potentiellement soutenir la visualisation.

Contexte de la thèse

Les domaines de la biologie et de l'imagerie médicale ont connu d'importantes améliorations ces dernières années, notamment en ce qui concerne l'acquisition et la gestion d'ensembles de données temporelles tridimensionnelles. Des techniques d'imagerie en direct révolutionnaires, telles que les Selective Plane Illumination Microscopy (SPIM) et Lattice Light Sheet Microscopy (LLSM), sont désormais capables de créer des images 3D temporelles à une vitesse et une résolution suffisantes pour observer et détecter des caractéristiques temporelles importantes, qu'il s'agisse de comportements généraux ou d'événements ponctuels. L'analyse automatique ou semi-automatique des données a fait l'objet d'une grande attention dans les communautés respectives, et des méthodes basées sur le calcul par GPU ou des algorithmes d'apprentissage profond ont émergé. Ces méthodes produisent des informations supplémentaires, telles que la segmentation, le suivi, ou des informations numériques et catégorielles concernant l'entité imagée, ce qui donne des ensembles de données 3D temporelles complexes et de haute dimension. Pourtant, la détection
des régions d'intérêt et la visualisation de ces données complexes présentent des lacunes, de sorte que les scientifiques spécialisés ont des difficultés à explorer leurs images et peuvent passer à côté d'informations essentielles. Cette thèse a été rédigée dans le cadre du Challenge Inria Naviscope. Ce projet vise à créer un ensemble complet de méthodes pour l'analyse d'images multidimensionnelles et multivaluées, en particulier dans le contexte de l'imagerie biologique et médicale. Ces méthodes comprennent des techniques de navigation, de manipulation et de visualisation d'images volumétriques, permettent une analyse semi-automatique et mettent un accent particulier sur l'étude des caractéristiques temporelles des données. Un système mettant en œuvre de telles techniques serait d'une aide précieuse pour les scientifiques afin de mieux comprendre les quantités massives d'informations et d'en extraire les éléments les plus pertinents.

Des défis similaires apparaissent dans divers domaines de recherche, car les ensembles de données à haute dimension, en 3D ou temporelles, sont de plus en plus courants. La dimension temporelle dans ces derniers introduit d'autant plus de difficultés, dans la représentation, l'affichage et l'interaction avec les données. Le besoin d'outils adaptés permettant aux analystes de comprendre et d'extraire des informations pertinentes de ces jeux de données devient crucial. Parmi les domaines de recherche qui tentent d'aborder ces questions, le domaine de la visualisation développe des solutions pour aider les utilisateurs à observer et explorer les données. Ces méthodes s'appuient sur une représentation visuelle adaptée, qui met en valeur ou filtre une partie des données, en faisant un compromis entre la quantité d'informations à afficher et la capacité de l'analyste à les interpréter. En outre, le domaine des Visual Analytics tente de compléter les méthodes de visualisation en utilisant des concepts issus de domaines adjacents. Il inclut des techniques allant de la gestion des données à l'interaction homme-machine, afin de donner des outils supplémentaires aux analystes. Les Immersive Analytics, un autre domaine de recherche dérivé des Visual Analytics, tentent d'aborder les mêmes questions en utilisant des technologies immersives. Les méthodes de ce domaine reposent sur des affichages stéréoscopiques, des points de vue à haut degré de liberté et des dispositifs permettant d'exploiter efficacement de grands environnements 3D. Les méthodes visant à améliorer la navigation dans un espace 3D, la sélection et la manipulation d'objets dans divers types d'environnements 3D peuvent s'avérer efficaces pour résoudre les tâches de visualisation classiques. En ce qui concerne les données 3D temporelles, la taille et le nombre de dimensions, ainsi que les capacités d'interaction des utilisateurs deviennent un centre d'intérêt pour aborder les nouveaux défis de la visualisation. Par conséquent, les Immersive Analytics peuvent probablement montrer leur potentiel.
# Problématique de Recherche

Afin d'aborder les problèmes de visualisation des données 3D temporelles présentés dans la section précédente, nous abordons trois questions de recherche principales :

**Question de recherche 1 : Comment représenter les données 3D temporelles ?** La première question porte sur la représentation des données 3D temporelles, et notamment de leur quatrième dimension, le temps. Les représentations du temps dans les données de dimension inférieure [2-4] et des données 3D [5-8] sont des défis bien explorés dans la communauté de la visualisation. Pourtant, alors que les ensembles de données 3D temporelles sont de plus en plus courants, les abstractions nécessaires pour définir correctement les caractéristiques 3D temporelles font défaut. Une approche visant à caractériser et à formaliser les diverses caractéristiques 3D temporelles est nécessaire pour soutenir des méthodes de visualisation et d'interaction adaptées.

**Question de recherche 2 : Comment visualiser différents types de régions 3D temporelles d'intérêt ?** La visualisation d'ensembles de données temporelles en 3D est limitée, d'une part, par la quantité de dimensions disponibles pour afficher l'ensemble des données et, d'autre part, par la capacité de l'utilisateur à interpréter une grande quantité de dimensions et d'informations. Les données 3D temporelles souffrent des problèmes d'affichage des informations temporelles et des données 3D. D'une part, les données 3D souffrent de problèmes d'occlusion, et la densité et l'encombrement visuel implicite limitent encore la perception humaine de l'information. De telles limitations nécessitent des solutions telle que des fonctions de rendu ou de navigation adéquates. D'autre part, la représentation de l'information temporelle implique souvent des obstacles à l'affichage de l'information, car son encodage coûte une dimension supplémentaire. Les visualisations adaptées aux données 3D temporelles doivent soit compenser ces inconvénients, soit trouver un compromis optimal pour mettre en évidence les principales caractéristiques du jeu de données.

**Question de recherche 3 : Comment interagir avec différents types de régions d'intérêt 3D temporelles ?** L'interaction est souvent présentée comme un élément clé pour pallier les limites de la visualisation. Diverses méthodes ont été développées pour améliorer l'interaction dans les environnements 3D et notamment pour explorer les données 3D. La navigation interactive dans le temps est également recommandée pour trouver un compromis entre l'utilisation d'un axe euclidien supplémentaire et la charge de travail cognitive des animations. La sélection, la manipulation et l'exploration de régions temporelles d'intérêt en 3D impliquent ces deux
contraintes. Par analogie avec les limites de la perception humaine pour la visualisation, la capacité humaine doit être prise en compte pour l'interaction, tant en termes de capacité et de précision physiques que de capacité cognitive. Par conséquent, l'interaction doit être adaptée soit pour mettre en correspondance de manière efficace et naturelle l'entrée de l'utilisateur avec une action sur la région temporelle d'intérêt en 3D, afin de faciliter son analyse.

## Défis Scientifiques

Les questions de recherche présentées précédemment conduisent à plusieurs défis. Nous avons identifié quatre défis qui doivent être relevés pour répondre à nos questions de recherche.

**Défi 1 : Approcher différents types de régions d'intérêt** Selon l'entité observée ou représentée, les méthodes de génération ou d'acquisition, les données 3D temporelles présenteront des caractéristiques variées, qui peuvent nécessiter une approche potentiellement différente pour la représentation et la visualisation. Les variations dans la nature des données (par exemple, volumétriques, nuages de points, etc.), la densité ou l'encombrement visuel peuvent ajouter des obstacles à la visualisation. D'autre part, les régions d'intérêt peuvent être de nature différente (par exemple, trajectoire, objets évoluant dans le temps), ou avoir des tailles de différents ordres de grandeur. Ces différences de taille sont pertinentes non seulement dans l'espace, c'est-à-dire petits vs grands objets, mais aussi dans le temps, événements ponctuels vs étendus.

Ces variations dans le contexte et les régions d'intérêt auront un impact sur la perception et l'exploration des données par l'utilisateur. La conception des méthodes de visualisation et d'interaction doit tenir compte de cet obstacle.

**Défi 2 : Naviguer dans le temps** Le temps est souvent représenté de manière spatiale ou temporelle. Représenter le temps comme un axe euclidien augmente la complexité de la visualisation, et est particulièrement difficile pour les données spatiales 3D. Les animations contrôlées réduisent le nombre de dimensions, en encodant l'information temporelle sur un axe temporel "réduit", mais cela entre en conflit avec le slogan "Les yeux battent la mémoire", c'est-à-dire la difficulté pour l'utilisateur d'interpréter et de comparer des données qui ne sont pas directement visibles. En utilisant l'une ou l'autre de ces approches, la navigation dans le temps et l'exploration des informations temporelles restent un défi. Tout d'abord, les interactions doivent faire correspondre les entrées de l'utilisateur, généralement définies dans l'espace, à des actions cohérentes sur les informations temporelles. Deuxièmement, les méthodes de navigation doivent optimiser l'accès aux informations pertinentes.
**Défi 3 : Gérer la vue pour la visualisation et l'interaction en 3D et dans le temps** La gestion de la vue est un problème classique lors de l'exploration d'environnements 3D, et donc également lors de la visualisation de données 3D. Tout d'abord, elle comprend la gestion de l'occlusion [9] et de l'encombrement visuel, qui sont causés ou augmentés par la densité des données. Deuxièmement, l'espace de travail doit être organisé correctement, notamment lors de l'utilisation de vues juxtaposées. Les problèmes d'occlusion peuvent notamment être compensés par des méthodes de manipulation et de navigation adéquates. Une fois de plus, lorsqu'on est confronté à des données temporelles en 3D, ces problèmes ont tendance à être encore plus importants, notamment en fonction de la méthode utilisée pour visualiser la dimension temporelle. À ce titre, la gestion des occlusions devra faire l'objet d'une attention particulière lors de la conception des visualisations et des interactions.

**Défi 4 : Encodage d'un grand ensemble de données à haute dimension** Comme nous l'avons mentionné précédemment, les ensembles de données 3D temporelles comprennent souvent des dimensions numériques et catégorielles. Elles peuvent être cruciales pour l'exploration et l'analyse des données observées, grâce à des moyens de filtrage et de comparaison. Par conséquent, ces dimensions doivent également être affichées lors de la visualisation des données 3D temporelles. Plusieurs canaux peuvent être utilisés pour afficher ces informations. Le plus souvent, l'information est encodée sur le canal couleur par le biais de cartes de couleurs. Selon la nature de l'information, elle peut également être codée par le son, le retour haptique, avec des étiquettes ou des vues juxtaposées. Le codage de l'information doit tenir compte de l'objectif analytique, mais il doit également éviter d'encombrer la visualisation ou d'impliquer une charge mentale trop importante pour l'utilisateur.

## Approche et Contributions

Comme mentionné à travers les défis scientifiques, la dimension temporelle est une contrainte forte tant pour la visualisation que pour l'interaction homme-machine. En exploitant les progrès récents dans ces deux domaines de recherche, le domaine de l'Immersive Analytics tire parti des avantages de la technologie immersive pour soutenir la visualisation et l'interaction. Les questions relatives à la navigation dans les données temporelles, à l'observation des données 3D et à la gestion globale des vues pourraient être facilitées par les méthodes développées dans ce domaine. C'est pourquoi nous avons décidé d'impliquer les environnements immersifs dans nos approches de visualisation et d'interaction.

La forte variation des données 3D temporelles mise en évidence dans le défi 1 nous a conduit
à envisager une approche globale de nos principales questions de recherche à travers différents types de données. Ainsi, la première étape de notre approche est la caractérisation des données 3D temporelles et des caractéristiques auxquelles nous serons confrontés. De plus, les contraintes dans la représentation du temps demanderont un effort supplémentaire soit sur la visualisation soit sur l'interaction. Les autres étapes de notre approche tenteront d'aborder les principales questions de recherche dans ces différentes situations. Le plan de cette thèse est le suivant :

**Chapitre 2** présente un rapport de littérature décrivant les objectifs et les méthodes développées dans les principaux domaines de recherche entourant le sujet de thèse. Nous présentons d'abord les domaines de la visualisation, des Visual Analytics et des Immersive Analytics, et abordons la question de la représentation de données 3D temporelles dans un contexte d'analyse de données. Ensuite, nous nous concentrons sur les méthodes de représentation et de visualisation de la dimension temporelle dans les données générales, en nous concentrant sur certaines visualisations statiques, à savoir le Cube Spatio-Temporel et les frises chronologiques. Enfin, nous présentons des applications et des méthodes issues des Immersive Analytics pour aborder les problèmes de visualisation.

**Chapitre 3** décrit la représentation Hypercube Spatio-Temporel, qui étend la représentation classique du Cube Spatio-Temporel aux données 3D temporelles. Nous proposons une méthode pour créer des visualisations à partir de l'Hypercube Spatio-Temporel, en définissant des opérateurs d'extraction basés sur un plan de coupe défini par l'utilisateur pour générer une vue 3D affichant l'évolution d'une vue en coupe à travers le temps. Nous concluons que cette méthode de visualisation permet de mettre en évidence des caractéristiques 3D temporelles de taille spatiale significative et leur évolution sur de grands intervalles de temps.

**Chapitre 4** présente un espace de conception pour la création de la visualisation de frises chronologiques 3D afin de soutenir la visualisation d'ensembles de données 3D temporelles. Cet espace de conception étend la visualisation classique des frises chronologiques et explore les moyens de les afficher dans un environnement 3D. En utilisant des outils de navigation, de sélection et de filtrage, l'utilisateur peut définir et affiner efficacement les zones d'intérêt dans l'espace et dans le temps. Cette méthode de visualisation, accompagnée des processus d'interaction adéquats que nous avons proposés, permet de définir des zones d'intérêt locales dans l'espace et dans le temps, avec une portée temporelle courte à moyenne.
**Chapitre 5** explore une méthode de sélection d'événements ponctuels, à travers un processus consistant à sélectionner d'abord la localisation 3D, puis la région d'intérêt dans le temps. Nous discutons d'un processus d'interaction reposant sur trois points essentiels : quelles informations doivent être directement accessibles à l'utilisateur ; comment sélectionner la région d'intérêt dans l'espace ; comment désambiguïser la sélection dans le temps. Nous suggérons qu'une méthode d'interaction basée sur ce concept pourrait augmenter l'efficacité de la sélection de caractéristiques 3D temporelles caractérisées par une courte portée temporelle.

**La Conclusion** conclut ce manuscrit, en résumant nos contributions, ainsi qu'en fournissant des perspectives de travaux futurs sur les méthodes que nous avons proposées, et sur nos propositions aux principales questions de recherche.
# Chapitre 2 : Etat de l'art

Ce chapitre présente une analyse documentaire des recherches menées dans les principaux domaines entourant nos questions de recherche. Cette étude s'attache d'abord à définir ces domaines adjacents et à mettre en évidence les principaux défis qu'ils abordent, afin de contextualiser nos propres contributions. Les problèmes abordés dans des domaines tels que la visualisation, les Visual Analytics et Immersive Analytics, ainsi que l'approche générale proposée dans chacun de ces domaines, constitueront un point de départ pour répondre à nos questions de recherche. Nous nous concentrerons également sur la caractérisation des données 3D temporelles, car il s'agit d'une question émergente, en nous appuyant notamment sur des travaux antérieurs traitant des données 3D et des données temporelles. Nous introduisons la notion d'objets 4D, nous attribuons plusieurs caractéristiques pour les qualifier:

- Un objet 4D est une entité sémantique indépendante.

- Un objet 4D est défini sur un sous-ensemble continu de la dimension temporelle encodée dans l'ensemble de données. Ainsi, il a une durée de vie, une date d'apparition, de disparition et est défini soit de manière continue dans le temps, soit de manière discrète avec une résolution temporelle.

- Un objet 4D contient un sous-ensemble continu de l'espace 3D encodé dans le jeu de données, et a donc une forme, une taille et une position. Ces caractéristiques peuvent évoluer au cours de la dimension temporelle.

- Un objet 4D peut se voir attribuer plusieurs informations catégorielles ou numériques, telles qu'un nom, une couleur ou un poids. Ces caractéristiques peuvent évoluer au cours de la dimension temporelle.

Cette représentation doit permettre la visualisation logique et l'interaction tout en considérant toutes les informations d'une caractéristique temporelle 3D. Dans ce qui suit, nous illustrons comment cette représentation peut être intégrée dans des exemples concrets.

Comme nous avons identifié la question de la navigation dans le temps comme l'un de nos principaux défis, nous présentons ensuite des approches de visualisation pour traiter les données temporelles. Des techniques pour aborder le problème général des données à haute dimension ont été proposées, et des approches plus spécifiques ont affiné ces techniques en exploitant le temps différemment, comme une dimension de nature unique. Deux catégories principales d'approches existent pour visualiser les données variant dans le temps : les méthodes dynamiques, c'est-à-dire l'animation et l'interaction, et les visualisations statiques, soit des données complètes, soit des données extraites de dimension inférieure. Nous comparons ces approches et identifions les
méthodes qui ont attiré notre attention comme bases de nos contributions. Nous nous concentrons ensuite sur deux visualisations particulières, le Cube Spatio-Temporel (CET), une représentation utilisant deux axes pour les données et un troisième axe pour le temps ; et les frise chronologique, une visualisation classique pour les données temporelles, qui sont principalement utilisées pour représenter des séries d'événements de façon linéaire ou sous forme d'arbre.

Enfin, nous explorons comment les Immersive Analytics dans la littérature a exploité les avantages des technologies immersives pour répondre aux défis de la visualisation. Comme l'indiquent LaViola et al. [39], les technologies qui prennent en charge les interfaces utilisateur 3D, comme les écrans stéréoscopiques, le suivi 3D ou les dispositifs de pointage, deviennent matures et prolifèrent. Notamment, la sortie de HMD abordables de haute qualité depuis 2016, notamment avec l'Oculus Rift et le HTC Vive, a remplacé le système CAVE [135] devenu populaire à la fin des années 1990. Les applications sont de plus en plus courantes, dans des domaines comme l'art, l'éducation et la formation, l'architecture ou le jeu. Parallèlement, le nombre de publications d'applications de visualisation immersive a augmenté, comme le rapportent Fonnet et Prié [58]. Ces applications s'appuient sur diverses caractéristiques des environnements virtuels 3D (EV) qui correspondent aux tâches correspondantes : le sentiment de présence fourni par les EV peut améliorer les jeux et la simulation ; les interactions 3D simulent des compétences naturelles et soutiennent ainsi les applications de formation. Dans cette section, nous présentons des applications d'Immersive Analytics pour la visualisation scientifique et la visualisation d'informations, et nous concluons par des applications immersives collaboratives, une préoccupation majeure dans le domaine de l'Immersive Analytics.
# Chapitre 3 : Visualisation Immersive et Interaction de Données 3D utilisant un Hypercube Spatio-Temporel appliqué à des Données d'Imagerie Biologique

Notre première approche concerne la visualisation de régions d'intérêt 3D temporelles avec de grandes composantes temporelles. Ces régions décrivent l'évolution continue des valeurs ou de la forme des objets, ce qui est essentiel pour analyser un objet et peut potentiellement donner un aperçu de l'évolution globale du jeu de données.

Dans ce chapitre, nous proposons une extension de la technique de visualisation Cube Espace-Temps (CET) [107] adaptée aux données spatio-temporelles 4D, nommée ci-après Hypercube Espace-Temps (HET). Conceptuellement, le HET est une représentation des données 3D temporelles qui consiste à disposer les données dans un hypercube 4D à trois dimensions spatiales et une dimension temporelle. Pour permettre la visualisation directe de l'hypercube 4D, nous avons étendu les opérations classiques du CET pour générer des visualisations 3D variées et significatives, qui sont juxtaposées pour obtenir une vue d'ensemble compacte des données spatio-temporelles. Précisément, nous proposons une opération de projection sur l'hypercube, indépendante du type de représentation spatiale (par exemple, maillage, volumétrique), qui projette l'hypercube dans un volume 3D qui peut être directement visualisé. L'opération de projection s'appuie sur une section transversale définie par l'utilisateur sur la dimension spatiale. Cette section transversale est ensuite calculée le long de la dimension temporelle et empilée dans un volume 3D, qui peut être enrichi de données numériques et catégorielles (voir Figure. B.2).

Afin d'explorer efficacement la structure 3D complexe générée, nous utilisons le HET dans un environnement immersif et proposons un ensemble d'outils interactifs pour explorer et analyser le jeu de données. L'amélioration de la perception de la profondeur de l'environnement virtuel devrait améliorer l'extraction visuelle des structures significatives de la HET. et l'utilisation d'interfaces utilisateur 3D permettrait aux utilisateurs d'explorer naturellement la HET depuis différentes perspectives. L'ensemble des interactions proposées comprend des méthodes d'exploration naturelle de la structure complexe, mais aussi des méthodes de sélection qui utilisent la notion d'objets 4D définie précédemment, permettant d'autres tâches analytiques. En outre, l'espace d'interaction élargi de la RV permet la juxtaposition de la HET et des instantanés des données spatio-temporelles originales. Cette juxtaposition permet l'exploration et la manipulation synchronisées des deux visualisations. Enfin, le chapitre présente un cas d'utilisation illustrant les usages de la HET pour la visualisation de données spatio-temporelles dans les études de
développement embryonnaire, ainsi qu'une évaluation de cette méthode de visualisation auprès d'utilisateurs non-experts et experts du domaine. Les illustrations utilisées et les cas d'utilisation explorés dans ce chapitre sont basés sur les enregistrements du développement embryonnaire d'une Phallusia Mammillata.

<figure><img src="image_53.png" /></figure>

Figure B.2 – À partir d'une coupe transversale sur les données temporelles basées sur la surface 3D montrée sur la première figure, nous générons une visualisation Cube Espace-Temps, affichée sur la deuxième image, montrant l'évolution dans le temps des données spatiales de la coupe transversale affichée sur les axes x et y. La troisième image montre comment la visualisation peut être enrichie avec des données quantitatives et qualitatives en utilisant différents codes de couleur. Un ensemble d'outils d'interaction aide l'utilisateur à explorer la visualisation générée, comme on le voit dans la dernière image.
# Chapitre 4 : Espace de Conception de Frise Chronologique pour l'Exploration Immersive de Données 3D Spatio-Temporelles

Ce chapitre aborde la question de la visualisation des régions temporelles d'intérêt en 3D. L'objectif est de pouvoir définir une zone des données 3D temporelles, délimitée à la fois spatialement et temporellement, avec une portée adaptée à une observation directe par l'analyste.

Pour aborder cette question, nous décrivons dans ce chapitre un espace de conception de frise chronologique étendu pour un environnement 3D, adapté à la visualisation de données 3D temporelles. Cet espace de conception est inspiré de l'espace de conception pour les frises chronologiques 2D décrit par Brehmer et al. [111]. Notre espace de conception étend l'espace original, en adaptant les choix de conception connexes à la dimension supplémentaire de l'espace de travail. Nous décrivons comment les frises chronologiques 3D peuvent partitionner et struc-turer les données 3D temporelles, représentées sous forme d'objets 4D, dans l'environnement 3D.

En outre, en raison des caractéristiques spécifiques de l'interaction des contextes immersifs et afin de tirer pleinement parti des frises chronologiques 3D, nous discutons de l'ensemble des techniques d'interaction de base pour les explorer et les manipuler. Nous proposons également des processus d'interaction supplémentaires pour aborder plus efficacement des tâches spécifiques d'exploration et d'analyse.

Afin d'explorer les avantages potentiels des frises chronologiques 3D, nous avons effectué deux évaluations. La première évaluation était une évaluation sommative formelle, qui explorait comment les frises chronologiques 3D pouvaient améliorer les tâches d'exploration de données. Pour cette évaluation, nous avons principalement tenu compte des experts en RV et nous nous sommes concentrés sur la performance et la convivialité. La deuxième évaluation, était une évaluation qualitative menée en collaboration avec des experts en biologie. L'objectif était de recueillir des commentaires sur la façon dont les frises chronologiques 3D pourraient être incluses dans leur flux de travail d'analyse, plus précisément, sur la façon dont ils pourraient tirer parti des frises chronologiques 3D pour faciliter le processus d'exploration et de validation de leurs données d'imagerie temporelle 3D.

En résumé, les principales contributions de ce chapitre sont les suivantes :

- Un espace de conception pour les frises chronologiques 3D, affichables dans des environ-nements 3D et adaptées à la visualisation de données 3D temporelles.

- Des processus d'interaction et d'exploration 3D supportant des tâches analytiques com-plexes dans une telle visualisation
— Une évaluation formelle des avantages des lignes 3D temporelles dans les tâches générales de visualisation, ainsi que des retours d'experts en biologie donnant un aperçu de l'utilisation concrète de la méthode.

<figure><img src="image_54.png" /><figcaption>Figure B.3 – Illustration de l'espace de conception de la frise chronologique 3D proposée pour l'exploration immersive de données spatiales 3D variant dans le temps. La première ligne présente différentes représentations de la frise chronologique, c'est-à-dire la courbe directrice de la frise chronologique, tandis que la deuxième ligne présente différentes configurations de support. L'image la plus à droite illustre l'utilisation d'une représentation hélicoïdale pour l'exploration d'un ensemble de données d'imagerie embryonnaire variant dans le temps. La carte de couleurs viridis est utilisée pour coder le rapport d'élongation des cellules impliquées dans les mouvements morphogénétiques.</figcaption></figure>
# Chapitre 5 : Espace-Puis-Temps : Vers des Méthodes de Sélection pour des Evènements Ponctuels dans des Données 3D Temporelles grâce à l'Interaction 3D

Dans ce chapitre, nous proposons une méthode pour améliorer la sélection des caractéristiques des événements temporels 3D qui apparaissent ponctuellement dans le temps, c'est-à-dire les objets 4D avec une petite composante temporelle. Pour simplifier et même si ces objets peuvent ne pas être ponctuels dans l'espace 3D, nous les appellerons "objets 4D ponctuels". La visualisation de ces objets individuellement dépend donc principalement de la visualisation 3D, mais leur sélection dans la dimension temporelle potentiellement importante d'un ensemble de données 3D temporelles peut être un véritable défi.

Les méthodes traditionnelles explorent généralement les ensembles de données temporelles en 3D en commençant par explorer le temps jusqu'à ce qu'une région 3D d'intérêt soit détectée. Dans le cas d'objets 4D ponctuels, cela peut être particulièrement difficile. Dans ce contexte, les tâches de recherche sont particulièrement difficiles : en se basant sur une exploration temporelle naïve, trouver un tel objet consiste en une exploration spatiale multipliée par le nombre de points temporels dans l'ensemble de données, c'est-à-dire une tâche d'exploration 1D x 3D. Par conséquent, nous proposons un processus d'interaction pour améliorer la sélection d'un objet 4D ponctuel. Cette approche consiste en un processus d'interaction commençant par une sélection dans l'espace, puis une désambiguïsation dans le temps, globalement une tâche d'exploration 3D + 1D. Nous avons identifié 3 axes principaux pour aborder la conception d'une telle méthode de sélection :

- La sélection en 3D doit se faire sans exploration du temps. Comment l'utilisateur peut-il avoir l'information sur l'endroit où se trouve l'objet qu'il recherche ? En d'autres termes, quelles informations doivent être visualisées pour que l'utilisateur puisse effectuer une telle sélection ?

- Quelle information 3D doit être sélectionnée avant l'exploration du temps ? Comment la sélection en 3D permettra-t-elle d'identifier la bonne zone dans le temps ?

- Une fois la sélection 3D correctement effectuée, comment explorer la dimension temporelle restante ? Comment désambiguïser entre les objets potentiellement sélectionnés dans le temps ?

Dans ce qui suit, nous explorons et proposons différentes méthodes qui pourraient être utilisées efficacement pour aborder chacun de ces trois axes. Nous illustrons notre propos par
des images basées sur un ensemble de données d'enregistrement d'astrocytes et de simulation de signaux calciques.

<figure><img src="image_55.png" /><figcaption>Figure B.4 – Visualisation en carte de densité de vagues calciques (bleu). L'utilisateur effectue une sélection de type brosse (jaune). La désambiguation dans le temps pour sélectionner l'objet 4D se basera sur cette sélection.</figcaption></figure>
Conclusion

Cette thèse présente une série de contributions aux questions relatives à la visualisation et à l'interaction des données 3D temporelles, en suivant trois questions de recherche principales, concernant la manière de représenter les données, de les visualiser et d'interagir avec elles.

Autour de la Question de Représentation

Malgré le fait que la question de la représentation du temporel 3D n'était pas l'objet principal des contributions décrites ci-dessus, nous avons tout de même proposé plusieurs approches à travers ce manuscrit. Nous avons abordé la question de la représentation des données 3D temporelles dans le chapitre 3 à travers la représentation Hypercube Spatio-Temporel, qui utilise la dimension temporelle comme une dimension euclidienne résultant en un volume 4D. Cette approche permet la création de visualisations extraites d'une structure 4D, comme nous l'avons montré au chapitre 3. Cette représentation aborde le jeu de données dans son intégralité, et a donc été adaptée aux caractéristiques 3D temporelles ayant une grande importance temporelle et spatiale. Dans le chapitre 2, nous avons développé une représentation des données à travers des objets 4D. Ces objets 4D représentent les caractéristiques 3D temporelles qui apparaissent dans les ensembles de données, et consistent en la définition d'une forme 3D continue, et de ses occurrences associées en continu dans le temps. Cette approche s'est révélée plus adaptée pour supporter la visualisation et l'interaction de la plupart des types de caractéristiques existant dans les jeux de données avec lesquels nous avons travaillé. Elle permettait un partitionnement logique des données qui pouvait être utilisé pour exploiter les techniques de juxtaposition dans la visualisation, comme le montre le chapitre 4 sur les frises chronologiques en 3D, ou pour supporter des opérations de filtrage.

Perspectives

En ce qui concerne la représentation des données 3D, notre approche des objets 4D a permis de qualifier une grande variété de caractéristiques 3D temporelles, mais présente de multiples limitations. Tout d'abord, certaines parties des jeux de données que nous avons présentés n'ont pas pu être qualifiées en objets 4D, et plus particulièrement des éléments d'arrière-plan. En effet, notre approche s'appuie à la fois sur la séparation existante des éléments d'intérêt, et sur les informations de suivi de ces éléments. Certains jeux de données peuvent inclure ces informations de par leur conception, notamment les jeux de données basés sur
des trajectoires ou des maillages. En revanche, d'autres types de jeux de données, comme les nuages de points ou les données volumétriques, nécessitent l'utilisation d'algorithmes de segmentation et de suivi, souvent suivis d'un traitement manuel des résultats. Nous pensons qu'une approche unifiée pour les caractéristiques 3D temporelles aiderait grandement la recherche future sur les données 3D temporelles. Les méthodes pourraient être facilement partagées entre les domaines, que ce soit sur le sujet des algorithmes de segmentation et de suivi, ou sur les techniques de visualisation et d'interaction. En outre, une approche unifiée pourrait encourager l'optimisation des algorithmes d'analyse et de rendu, mais aussi faciliter la communication entre les domaines et la reproductibilité de la recherche. Finalement, nous identifions deux directions principales pour améliorer la représentation des caractéristiques 3D temporelles. Un premier objectif serait d'explorer davantage la notion d'objets 4D, en généralisant l'approche à d'autres types d'ensembles de données et de caractéristiques 3D temporelles, par exemple des ensembles de données de trajectoires ou des nuages de points, que nous n'avons pas abordés ici. Un deuxième objectif serait de proposer des méthodes pour qualifier les éléments d'arrière-plan et contextuels, qui peuvent difficilement être qualifiés d'objets 4D. L'approche par les objets 4D n'étant probablement pas exhaustive pour représenter toutes les caractéristiques des jeux de données 3D temporelles, une approche complémentaire pourrait être nécessaire pour inclure ces informations dans l'analyse du jeu de données complet.

En outre, les travaux futurs devraient se concentrer sur la question de la comparaison. Parmi les méthodes que nous avons proposées, les lignes 3D temporelles pourraient permettre de comparer des objets 4D en tirant parti des conceptions de lignes temporelles à facettes. Néanmoins, d'autres méthodes pourraient améliorer la comparaison de plusieurs ensembles de données, par exemple pour comparer un ensemble de données à une vérité terrain, ou deux simulations avec des paramètres différents. La comparaison pourrait étendre les méthodes de comparaison 3D existantes, en impliquant des opérations d'ensemble 4D (par exemple, intersection, exclusion). Ou encore, elle pourrait exploiter le grand espace de travail de l'environnement virtuel pour les méthodes basées sur la juxtaposition. Des méthodes d'interaction 3D adaptées pourraient être synchronisées avec les vues multiples des différents ensembles de données affichés, ce qui faciliterait encore la comparaison. En outre, il est nécessaire de comparer les données catégorielles et numériques supplémentaires liées à chaque objet. Les cartes de couleurs peuvent facilement encoder une dimension d'information, et le passage d'une information à l'autre rend la comparaison difficile, conformément au slogan "Eyes Beat Memory". Une telle comparaison pourrait reposer sur la juxtaposition de deux copies du même objet avec des cartes de couleurs différentes, l'utilisation de cartes de couleurs à plusieurs variables, la juxtaposition de deux cartes
de couleurs sur un même objet par le biais d'une texturation adéquate, ou l'utilisation d'autres canaux perceptifs (par exemple, le son, le retour haptique). Des études perceptuelles seront ensuite nécessaires pour évaluer la solution optimale en fonction des différents cas d'utilisation.
BIBLIOGRAPHY

1. Rosenblum, L. D. See what I'm saying: The extraordinary powers of our five senses (WW Norton & Company, 2011).

2. Andrienko, G. et al. Space, time and visual analytics. *International Journal of Geographical Information Science* **24**, 1577–1600. ISSN: 1365-8816, 1362-3087 (Oct. 11, 2010).

3. Aigner, W., Miksch, S., Schumann, H. & Tominski, C. Visualization of Time-oriented Data (Springer, 2011).

4. Bai, Z., Tao, Y. & Lin, H. Time-varying volume visualization: a survey | SpringerLink.

5. Bruckner, S. & Gröller, E. Enhancing Depth-Perception with Flexible Volumetric Halos. *IEEE Transactions on Visualization and Computer Graphics* **13**, 1344–1351 (2007).

6. Jönsson, D., Sunden, E., Ynnerman, A. & Ropinski, T. A Survey of Volumetric Illumination Techniques for Interactive Volume Rendering. *Computer Graphics Forum* **33**, 27–51 (2014).

7. Preim, B., Baer, A., Cunningham, D., Isenberg, T. & Ropinski, T. A Survey of Perceptually Motivated 3D Visualization of Medical Image Data. *Computer Graphics Forum* **35**, 501–525 (2016).

8. Díaz, J., Ropinski, T., Navazo, I., Gobbetti, E. & Vázquez, P.-P. An experimental study on the effects of shading in 3D perception of volumetric models. *The visual computer* **33**, 47–61 (2017).

9. Elmqvist, N. & Tsigas, P. A Taxonomy of 3D Occlusion Management for Visualization. *IEEE Transactions on Visualization and Computer Graphics* **14**, 1095–1109. ISSN: 1077-2626 (Sept. 2008).

10. Preim, B. & Bartz, D. Visualization in medicine: theory, algorithms, and applications (Elsevier, 2007).

11. Cutrale, F., Fraser, S. E. & Trinh, L. A. Imaging, visualization, and computation in developmental biology. *Annu. Rev. Biomed. Data Sci* **2**, 223–251 (2019).
12. Ivson, P., Nascimento, D., Celes, W. & Barbosa, S. D. CasCADe: A Novel 4D Visualization System for Virtual Construction Planning. *IEEE Transactions on Visualization and Computer Graphics* **24**, 687–697. ISSN: 1077-2626 (Jan. 2018).

13. Sanders, B. C., Senden, T. & Springel, V. Focus on visualization in physics. *New Journal of Physics* **10**, 125001 (2008).

14. Brodlie, K. W. *et al*. Scientific visualization: techniques and applications (Springer Science & Business Media, 2012).

15. Chen, C. Information visualization. *Wiley Interdisciplinary Reviews: Computational Statistics* **2**, 387–403 (2010).

16. Munzner, T. Visualization Analysis and Design. 430 pp. ISBN: 978-1-4987-5971-7 (CRC Press, Dec. 1, 2014).

17. Kovesi, P. Good Colour Maps: How to Design Them. arXiv:1509.03700 [cs]. arXiv: 1509.03700 (Sept. 11, 2015).

18. Cheng, S., Xu, W. & Mueller, K. ColorMapND: A Data-Driven Approach and Tool for Mapping Multivariate Data to Color. *IEEE Transactions on Visualization and Computer Graphics* **25**, 1361–1377. ISSN: 1941-0506 (Feb. 2019).

19. Borland, D. & Ii, R. M. T. Rainbow color map (still) considered harmful. *IEEE computer graphics and applications* **27**, 14–17 (2007).

20. Simpson, R., LaViola, J., Laidlaw, D., Forsberg, A. & van Dam, A. Immersive VR for scientific visualization: a progress report. *IEEE Computer Graphics and Applications* **20**, 26–52. ISSN: 02721716 (Dec. 2000).

21. Cook, K. A. & Thomas, J. J. Illuminating the path: The research and development agenda for visual analytics. Tech. rep. (Pacific Northwest National Lab.(PNNL), Richland, WA (United States), 2005).

22. Keim, D. *et al*. in *Information Visualization* (eds Kerren, A., Stasko, J. T., Fekete, J.-D. & North, C.) 154–175 (Springer Berlin Heidelberg, Berlin, Heidelberg, 2008).

23. Keim, D. A., Mansmann, F., Schneidewind, J. & Ziegler, H. Challenges in visual data analysis. in *Tenth International Conference on Information Visualisation (IV'06)* (2006), 9–16.

24. Shneiderman, B. in *The craft of information visualization* 364–371 (Elsevier, 2003).
25. Prigent, S. et al. BioImageIT: Open-source framework for integration of image data-management with analysis. *bioRxiv* (2021).

26. Allan, C. et al. OMERO: flexible, model-driven data management for experimental biology. *Nature methods* **9**, 245–253 (2012).

27. Chiu, C.-L., Clack, N., et al. napari: a Python Multi-Dimensional Image Viewer Platform for the Research Community. *Microscopy and Microanalysis* **28**, 1576–1577 (2022).

28. Rasband, W. S. et al. ImageJ. 1997.

29. Schindelin, J. et al. Fiji: an open-source platform for biological-image analysis. *Nature methods* **9**, 676–682 (2012).

30. Kehrer, J. & Hauser, H. Visualization and Visual Analysis of Multifaceted Scientific Data: A Survey. *IEEE Transactions on Visualization and Computer Graphics* **19**, 495–513. ISSN: 1941-0506 (Mar. 2013).

31. Skarbez, R., Polys, N. F., Ogle, J. T., North, C. & Bowman, D. A. Immersive Analytics: Theory and Research Agenda. *Frontiers in Robotics and AI* **6**, ISSN: 2296-9144 (2019).

32. Smith, N. G. et al. ArtifactVis2: Managing real-time archaeological data in immersive 3D environments. in *2013 Digital Heritage International Congress (DigitalHeritage) 1* (2013), 363–370.

33. Zhang, S. et al. An immersive virtual environment for DT-MRI volume visualization applications: a case study. in *Proceedings Visualization, 2001. VIS'01*. (2001), 437–584.

34. Kageyama, A., Tamura, Y. & Sato, T. Visualization of vector field by virtual reality. *Progress of Theoretical Physics Supplement* **138**, 665–673 (2000).

35. Bach, B., Sicat, R., Beyer, J., Cordeil, M. & Pfister, H. The Hologram in My Hand: How Effective is Interactive Exploration of 3D Visualizations in Immersive Tangible Augmented Reality? *IEEE Transactions on Visualization and Computer Graphics* **24**, 457–467. ISSN: 1077-2626 (Jan. 2018).

36. Raja, D., Bowman, D. A., Lucas, J. & North, C. Exploring the Benefits of Immersion in Abstract Information Visualization, 8.

37. Chandler, T. et al. Immersive Analytics. in *2015 Big Data Visual Analytics (BDVA) (Sept. 2015)*, 1–8.

38. Marriott, K. et al. in *Immersive Analytics* (eds Marriott, K. et al.) 25–55 (Springer International Publishing, Cham, 2018).
39. Bowman, D. A., Kruijff, E., LaViola Jr., J. J. & Poupyrev, I. 3D User Interfaces: Theory and Practice. ISBN: 978-0-201-75867-2 (Addison-Wesley, 2005).

40. Andrews, C., Endert, A. & North, C. Space to think: large high-resolution displays for sensemaking. in *Proceedings of the SIGCHI conference on human factors in computing systems* (2010), 55–64.

41. Andrews, C., Endert, A., Yost, B. & North, C. Information visualization on large, high-resolution displays: Issues, challenges, and opportunities. *Information Visualization* **10**, 341–355 (2011).

42. Bandyopadhyay, P. Immersive Space to Think: the Role of 3D Immersive Space in Sensemaking of Textual Data. PhD thesis (Virginia Tech, 2020).

43. Lisle, L., Chen, X., Gitre, J. E., North, C. & Bowman, D. A. Evaluating the benefits of the immersive space to think. in *2020 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW)* (2020), 331–337.

44. Lisle, L., Davidson, K., Gitre, E. J., North, C. & Bowman, D. A. Sensemaking strategies with immersive space to think. in *2021 IEEE Virtual Reality and 3D User Interfaces (VR)* (2021), 529–537.

45. McIntire, J. P., Havig, P. R. & Geiselman, E. E. Stereoscopic 3D displays and human performance: A comprehensive review. *Displays* **35**, 18–26. ISSN: 01419382 (Jan. 2014).

46. Laha, B., Sensharma, K., Schiffbauer, J. D. & Bowman, D. A. Effects of Immersion on Visual Analysis of Volume Data. *IEEE Transactions on Visualization and Computer Graphics* **18**, 597–606. ISSN: 1941-0506 (Apr. 2012).

47. Chen, J. & Bowman, D. A. Domain-specific design of 3d interaction techniques: An approach for designing useful virtual environment applications. *Presence* **18**, 370–386 (2009).

48. Argelaguet, F. & Andujar, C. A survey of 3D object selection techniques for virtual environments. *Computers & Graphics* **37**, 121–136. ISSN: 0097-8493 (May 1, 2013).

49. Moore, A. et al. The Importance of Intersection Disambiguation for Virtual Hand Techniques. in *2019 IEEE International Symposium on Mixed and Augmented Reality (ISMAR)* (Oct. 2019), 310–317.
50. Vanacken, L., Grossman, T. & Coninx, K. Multimodal selection techniques for dense and occluded 3D virtual environments. *International Journal of Human-Computer Studies. Current trends in 3D user interface research* **67**, 237–255. ISSN: 1071-5819 (Mar. 1, 2009).

51. Mendes, D., Caputo, F. M., Giachetti, A., Ferreira, A. & Jorge, J. A Survey on 3D Virtual Object Manipulation: From the Desktop to Immersive Virtual Environments. *Computer Graphics Forum* **38**, 21–45. ISSN: 1467-8659 (2019).

52. Song, P., Goh, W. B., Hutama, W., Fu, C.-W. & Liu, X. A handle bar metaphor for virtual object manipulation with mid-air interaction. in *Proceedings of the SIGCHI Conference on Human Factors in Computing Systems* (2012), 1297–1306.

53. Conner, B. D. et al. Three-dimensional widgets. in *Proceedings of the 1992 symposium on Interactive 3D graphics* (1992), 183–188.

54. Bowman, D. A. & Hodges, L. F. An evaluation of techniques for grabbing and manipulating remote objects in immersive virtual environments. in *Proceedings of the 1997 symposium on Interactive 3D graphics* (1997), 35–ff.

55. Stoakley, R., Conway, M. J. & Pausch, R. Virtual reality on a WIM: interactive worlds in miniature. in *Proceedings of the SIGCHI conference on Human factors in computing systems* (1995), 265–272.

56. Poupyrev, I., Billinghurst, M., Weghorst, S. & Ichikawa, T. The go-go interaction technique: non-linear mapping for direct manipulation in VR. in *Proceedings of the 9th annual ACM symposium on User interface software and technology* (1996), 79–80.

57. Frees, S., Kessler, G. D. & Kay, E. PRISM interaction for enhancing control in immersive virtual environments. *ACM Transactions on Computer-Human Interaction (TOCHI)* **14**, 2–es (2007).

58. Fonnet, A. & Prie, Y. Survey of Immersive Analytics. *IEEE Transactions on Visualization and Computer Graphics*, 1–1. ISSN: 1077-2626, 1941-0506, 2160-9306 (2019).

59. Cheymol, A. et al. The Rubber Slider Metaphor: Visualisation of Temporal and Geolocated Data. in *2022 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW)* (Mar. 2022), 904–905.

60. Keefe, D. F. et al. Scaling up multi-touch selection and querying: Interfaces and applications for combining mobile multi-touch input with large-scale visualization displays. *International Journal of Human-Computer Studies* **70**, 703–713 (2012).
61. Moere, A. V. Infoticles: Information modeling in immersive environments. in *Proceedings Sixth International Conference on Information Visualisation* (2002), 457–461.

62. Azzag, H., Picarougne, F., Guinot, C. & Venturini, G. in *Processing and Managing Complex Data for Decision Support* 318–339 (IGI Global, 2006).

63. Maletic, J. I., Leigh, J. & Marcus, A. Visualizing software in an immersive virtual reality environment. in *Proceedings of ICSE* 1 (2001), 12–13.

64. Osawa, N., Asai, K. & SUGtMOTO, Y. Y. Immersive Graph Navigation Using Direct Manipulation and Gestures, 6.

65. Li, Y. et al. Analyzing growing plants from 4D point cloud data. *ACM Transactions on Graphics* **32**, 157:1–157:10. ISSN: 0730-0301 (Nov. 1, 2013).

66. Lu, A. & Shen, H. Interactive Storyboard for Overall Time-Varying Data Visualization. in *2008 IEEE Pacific Visualization Symposium* (Mar. 2008), 143–150.

67. Neuroth, T. A., Sauer, F. & Ma, K. L. An Interactive Visualization System for Large Sets of Phase Space Trajectories. *Computer Graphics Forum* **38**, 297–309. ISSN: 1467-8659 (2019).

68. Huang, X. et al. TrajGraph: A Graph-Based Visual Analytics Approach to Studying Urban Network Centralities Using Taxi Trajectory Data. *IEEE Transactions on Visualization and Computer Graphics* **22**, 160–169. ISSN: 1941-0506 (Jan. 2016).

69. Liu, D. et al. SmartAdP: Visual Analytics of Large-scale Taxi Trajectories for Selecting Billboard Locations. *IEEE Transactions on Visualization and Computer Graphics* **23**, 1–10. ISSN: 1941-0506 (Jan. 2017).

70. Hurter, C., Tissoires, B. & Conversy, S. FromDaDy: Spreading Aircraft Trajectories Across Views to Support Iterative Queries. *IEEE transactions on visualization and computer graphics* **15**, 1017–24 (Nov. 1, 2009).

71. Amirkhanov, A. et al. ManyLands: A Journey Across 4D Phase Space of Trajectories. *Computer Graphics Forum* **38**, 191–202. ISSN: 1467-8659 (2019).

72. Andrienko, G., Andrienko, N., Fuchs, G. & Garcia, J. M. C. Clustering Trajectories by Relevant Parts for Air Traffic Analysis. *IEEE Transactions on Visualization and Computer Graphics* **24**, 34–44. ISSN: 1941-0506 (Jan. 2018).

73. Waser, J. et al. World Lines. *IEEE Transactions on Visualization and Computer Graphics* **16**, 1458–1467. ISSN: 1941-0506 (Nov. 2010).
74. Schindler, B., Waser, J., Ribičić, H., Fuchs, R. & Peikert, R. Multiverse Data-Flow Control. *IEEE Transactions on Visualization and Computer Graphics* **19**, 1005–1019.
ISSN: 1941-0506 (June 2013).

75. Kim, K., Carlis, J. V. & Keefe, D. F. Comparison techniques utilized in spatial 3D and 4D data visualizations: A survey and future directions. *Computers & Graphics* **67**, 138–147.
ISSN: 0097-8493 (Oct. 1, 2017).

76. Andrienko, N. & Andrienko, G. Visual Analytics of Movement: An Overview of Methods, Tools and Procedures. *Information Visualization* **12**, 3–24 (Jan. 1, 2013).

77. Guignard, L. et al. Contact-dependent cell-cell communications drive morphological invariance during ascidian embryogenesis. *bioRxiv*, 238741 (Feb. 22, 2018).

78. Schroeder, W. J. & Martin, K. M. in *Visualization Handbook* 593–614 (Elsevier, 2005).
ISBN: 978-0-12-387582-2.

79. Cignoni, P. et al. MeshLab: an Open-Source Mesh Processing Tool, 8.

80. Brozovic, M. et al. ANISEED 2017: extending the integrated ascidian database to the exploration and evolutionary comparison of genome-scale datasets. *Nucleic Acids Research* (Nov. 2017).

81. Valades-Cruz, C. A. et al. Challenges of intracellular visualization using virtual and augmented reality. *Frontiers in Bioinformatics* **2** (2022).

82. Pols, M. S. & Klumperman, J. Trafficking and function of the tetraspanin CD63. *Experimental cell research* **315**, 1584–1592 (2009).

83. Chen, B.-C. et al. Lattice light-sheet microscopy: Imaging molecules to embryos at high spatiotemporal resolution. *Science* **346**. ISSN: 0036-8075, 1095-9203 (Oct. 24, 2014).

84. Liu, T. et al. Multi-color live-cell STED nanoscopy of mitochondria with a gentle inner membrane stain. *bioRxiv* (2022).

85. Oxford Instruments plc. Imaris Software. https://imaris.oxinst.com/. 1993.

86. Tinevez, J.-Y. et al. TrackMate: An open and extensible platform for single-particle tracking. *Methods* **115**, 80–90 (2017).

87. Badoual, A. et al. Simulation of astrocytic calcium dynamics in lattice light sheet microscopy images. in *2021 IEEE 18th International Symposium on Biomedical Imaging (ISBI)* (2021), 135–139.
88. Demšar, U. & Virrantaus, K. Space-time density of trajectories: exploring spatio-temporal patterns in movement data. *International Journal of Geographical Information Science* **24**, 1527–1542. ISSN: 1365-8816 (Oct. 11, 2010).

89. Woodring, J. & Shen, H. Multi-variate, Time Varying, and Comparative Visualization with Contextual Cues. *IEEE Transactions on Visualization and Computer Graphics* **12**, 909–916 (Sept. 2006).

90. Comon, P. in *Higher-Order Statistics* (ed J-L.Lacoume) 29–38 (Elsevier, June 1992).

91. Ivosev, G., Burton, L. & Bonner, R. Dimensionality Reduction and Visualization in Principal Component Analysis. *Analytical Chemistry* **80**, 4933–4944. ISSN: 0003-2700 (July 1, 2008).

92. Mika, S., Ratsch, G., Weston, J., Scholkopf, B. & Mullers, K. Fisher discriminant analysis with kernels. in *Neural Networks for Signal Processing IX: Proceedings of the 1999 IEEE Signal Processing Society Workshop (Cat. No.98TH8468)* (Aug. 1999), 41–48.

93. Roweis, S. T. & Saul, L. K. Nonlinear Dimensionality Reduction by Locally Linear Embedding. *Science* **290**, 2323–2326. ISSN: 0036-8075, 1095-9203 (Dec. 22, 2000).

94. Gu, Y. & Wang, C. TransGraph: Hierarchical Exploration of Transition Relationships in Time-Varying Volumetric Data. *IEEE Transactions on Visualization and Computer Graphics* **17**, 2015–2024 (Dec. 2011).

95. Duran, D. et al. Visualization of Large Molecular Trajectories. *IEEE Transactions on Visualization and Computer Graphics* **25**, 987–996. ISSN: 1077-2626, 1941-0506, 2160-9306 (Jan. 2019).

96. Al-maneea, H. M. & Roberts, J. C. Towards Quantifying Multiple View Layouts in Visualisation as Seen from Research Publications. in *2019 IEEE Visualization Conference (VIS)* (Oct. 2019), 121–121.

97. Wang Baldonado, M. Q., Woodruff, A. & Kuchinsky, A. Guidelines for using multiple views in information visualization. in *Proceedings of the working conference on Advanced visual interfaces* (Association for Computing Machinery, New York, NY, USA, May 1, 2000), 110–119. ISBN: 978-1-58113-252-6.

98. Coffey, D. et al. Visualizing Motion Data in Virtual Reality: Understanding the Roles of Animation, Interaction, and Static Presentation. *Computer Graphics Forum* **31**, 1215–1224. ISSN: 1467-8659 (2012).
99. Akiba, H., Wang, C. & Ma, K. AniViz: A Template-Based Animation Tool for Volume Visualization. *IEEE Computer Graphics and Applications* **30**, 61–71 (Sept. 2010).

100. Solteszova, V., Smit, N. N., Stoppel, S., Grüner, R. & Bruckner, S. Memento: Localized Time-Warping for Spatio-Temporal Selection. *Computer Graphics Forum* **39**, 231–243. ISSN: 1467-8659 (2020).

101. Buchmüller, J., Jäckle, D., Cakmak, E., Brandes, U. & Keim, D. A. MotionRugs: Visualizing Collective Trends in Space and Time. *IEEE Transactions on Visualization and Computer Graphics* **25**, 76–86. ISSN: 2160-9306 (Jan. 2019).

102. Hägerstrand, T. What about people in Regional Science? *PAPERS OF THE REGIONAL SCIENCE ASSOCIATION*, 16 (1970).

103. Ssin, S. Y., Walsh, J. A., Smith, R. T., Cunningham, A. & Thomas, B. H. GeoGate: Correlating Geo-Temporal Datasets Using an Augmented Reality Space-Time Cube and Tangible Interactions. in *2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR)* (Mar. 2019), 210–219.

104. Leduc, T., Tourre, V. & Servières, M. The space-time cube as an effective way of representing and analysing the streetscape along a pedestrian route in an urban environment. *SHS Web of Conferences* **64**, 03005. ISSN: 2261-2424 (2019).

105. Filho, J. A. W., Stuerzlinger, W. & Nedel, L. Evaluating an Immersive Space-Time Cube Geovisualization for Intuitive Trajectory Data Exploration. *IEEE Transactions on Visualization and Computer Graphics* **26**, 514–524. ISSN: 1941-0506 (Jan. 2020).

106. Cassinelli, A. & Ishikawa, M. in *ACM SIGGRAPH 2005 Emerging technologies* 10–es (2005).

107. Bach, B., Dragicevic, P., Archambault, D., Hurter, C. & Carpendale, S. A Review of Temporal Data Visualizations Based on Space-Time Cube Operations, 20 (2014).

108. Bach, B., Dragicevic, P., Archambault, D., Hurter, C. & Carpendale, S. A Descriptive Framework for Temporal Data Visualizations Based on Generalized Space-Time Cubes. *Computer Graphics Forum* **36**, 36–61. ISSN: 1467-8659 (2017).

109. Woodring, J., Chaoli Wang & Han-Wei Shen. High dimensional direct rendering of time-varying volumetric data. in *IEEE Visualization, 2003. VIS 2003*. (Oct. 2003), 417–424.

110. Krone, M. et al. Molecular Surface Maps. *IEEE Transactions on Visualization and Computer Graphics* **23**, 701–710. ISSN: 1941-0506 (Jan. 2017).
111. Brehmer, M., Lee, B., Bach, B., Riche, N. H. & Munzner, T. Timelines Revisited: A Design Space and Considerations for Expressive Storytelling. *IEEE Transactions on Visualization and Computer Graphics* **23**, 2151–2164. ISSN: 2160-9306 (Sept. 2017).

112. Lab, N. U. K. TimelineJS. http:// timeline.knightlab.com/. 2013.

113. Shaw, A., Larson, J. & Welsh, B. Timeline Setter. https://propublica.github.io/timeline-setter/. 2011.

114. Wongsuphasawat, K. et al. LifeFlow: visualizing an overview of event sequences. in *Proceedings of the SIGCHI Conference on Human Factors in Computing Systems* (Association for Computing Machinery, New York, NY, USA, May 7, 2011), 1747–1756. ISBN: 978-1-4503-0228-9.

115. Burch, M., Beck, F. & Diehl, S. Timeline trees: visualizing sequences of transactions in information hierarchies. in *Proceedings of the working conference on Advanced visual interfaces* (Association for Computing Machinery, New York, NY, USA, May 28, 2008), 75–82. ISBN: 978-1-60558-141-5.

116. Di Bartolomeo, S. et al. Evaluating the Effect of Timeline Shape on Visualization Task Performance. in *Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems* (ACM, Honolulu HI USA, Apr. 21, 2020), 1–12. ISBN: 978-1-4503-6708-0.

117. Beedocs 3D Timeline. http://www.beedocs.com/timeline3D.

118. Cantu, A., Duval, T., Grisvard, O. & Coppin, G. HeloVis: A Helical Visualization for SIGINT Analysis Using 3D Immersion. in *2018 IEEE Pacific Visualization Symposium (PacificVis)* (Apr. 2018), 175–179.

119. Kullberg, R. L. Visualizing Historical Information in Three Dimensions, 50 (1995).

120. Ansah, J. et al. A Graph is Worth a Thousand Words: Telling Event Stories using Timeline Summarization Graphs. in *The World Wide Web Conference* (Association for Computing Machinery, New York, NY, USA, May 13, 2019), 2565–2571. ISBN: 978-1-4503-6674-8.

121. Abdelhaq, H., Sengstock, C. & Gertz, M. Eventweet: Online localized event detection from twitter. *Proceedings of the VLDB Endowment* **6**, 1326–1329 (2013).

122. Liu, B., Niu, D., Lai, K., Kong, L. & Xu, Y. Growing story forest online from massive breaking news. in *Proceedings of the 2017 ACM on Conference on Information and Knowledge Management* (2017), 777–785.
123. Nichols, J., Mahmud, J. & Drews, C. Summarizing sporting events using twitter. in *Proceedings of the 2012 ACM international conference on Intelligent User Interfaces* (2012), 189–198.

124. Fulda, J., Brehmer, M. & Munzner, T. TimeLineCurator: Interactive Authoring of Visual Timelines from Unstructured Text. *IEEE Transactions on Visualization and Computer Graphics* **22**, 300–309. ISSN: 1941-0506 (Jan. 2016).

125. Charles, F., Porteous, J., Cavazza, M. & Teutenberg, J. Timeline-based navigation for interactive narratives. in *Proceedings of the 8th International Conference on Advances in Computer Entertainment Technology* (Association for Computing Machinery, New York, NY, USA, Nov. 8, 2011), 1–8. ISBN: 978-1-4503-0827-4.

126. Chen, Z., Wang, Y., Wang, Q., Wang, Y. & Qu, H. Towards Automated Infographic Design: Deep Learning-based Auto-Extraction of Extensible Timeline. *IEEE Transactions on Visualization and Computer Graphics* **26**, 917–926. ISSN: 1941-0506 (Jan. 2020).

127. Blascheck, T. et al. Exploration strategies for discovery of interactivity in visualizations. *IEEE transactions on visualization and computer graphics* **25**, 1407–1420 (2018).

128. Card, S. K., Suh, B., Pendleton, B. A., Heer, J. & Bodnar, J. W. Time Tree: Exploring Time Changing Hierarchies. in *2006 IEEE Symposium On Visual Analytics Science And Technology* (Oct. 2006), 3–10.

129. Dachselt, R. & Weiland, M. TimeZoom: a flexible detail and context timeline. in *CHI '06 Extended Abstracts on Human Factors in Computing Systems* (Association for Computing Machinery, New York, NY, USA, Apr. 21, 2006), 682–687. ISBN: 978-1-59593-298-3.

130. Schwab, M. et al. Evaluating pan and zoom timelines and sliders. in *Proceedings of the 2019 chi conference on human factors in computing systems* (2019), 1–12.

131. Morawa, R., Horak, T., Kister, U., Mitschick, A. & Dachselt, R. Combining Timeline and Graph Visualization. in *Proceedings of the Ninth ACM International Conference on Interactive Tabletops and Surfaces* (Association for Computing Machinery, New York, NY, USA, Nov. 16, 2014), 345–350. ISBN: 978-1-4503-2587-5.

132. Drossis, G., Grammenos, D., Adami, I. & Stephanidis, C. 3D Visualization and Multimodal Interaction with Temporal Information Using Timelines. in *Human-Computer Interaction – INTERACT 2013* (eds Kotzé, P., Marsden, G., Lindgaard, G., Wesson, J. & Winckler, M.) (Springer, Berlin, Heidelberg, 2013), 214–231. ISBN: 978-3-642-40477-1.
133. Denning, J. D., Kerr, W. B. & Pellacini, F. *MeshFlow*: interactive visualization of mesh construction sequences. in *ACM SIGGRAPH 2011 papers* (Association for Computing Machinery, New York, NY, USA, July 25, 2011), 1–8. ISBN: 978-1-4503-0943-1.

134. Doboš, J., Mitra, N. J. & Steed, A. 3D Timeline: Reverse engineering of a part-based provenance from consecutive 3D models. *Computer Graphics Forum* **33**, 135–144. ISSN: 1467-8659 (2014).

135. Cruz-Neira, C., Sandin, D. J., DeFanti, T. A., Kenyon, R. V. & Hart, J. C. The CAVE: audio visual experience automatic virtual environment. *Communications of the ACM* **35**, 64–73 (1992).

136. El Beheiry, M. et al. DIVA: natural navigation inside 3D images using virtual reality. *Journal of molecular biology* **432**, 4745–4749 (2020).

137. Blanc, T., El Beheiry, M., Caporal, C., Masson, J.-B. & Hajj, B. Genuage: visualize and analyze multidimensional single-molecule point cloud data in virtual reality. *Nature Methods* **17**, 1100–1102. ISSN: 1548-7105 (Nov. 2020).

138. Gaugne, R. et al. eXtended Reality for Cultural Heritage. 2022.

139. Lécuyer, F. et al. INSIDE interactive and non-destructive solution for introspection in digital environments. in *2018 3rd Digital Heritage International Congress (Digital Heritage) held jointly with 2018 24th International Conference on Virtual Systems & Multimedia (VSMM 2018)* (2018), 1–4.

140. Hurter, C. et al. FiberClay: Sculpting Three Dimensional Trajectories to Reveal Structural Insights. *IEEE Transactions on Visualization and Computer Graphics* **25**, 704–714. ISSN: 1941-0506 (Jan. 2019).

141. Johnson, S. et al. Bento Box: An Interactive and Zoomable Small Multiples Technique for Visualizing 4D Simulation Ensembles in Virtual Reality. *Frontiers in Robotics and AI* **6**. ISSN: 2296-9144 (2019).

142. Liu, J., Prouzeau, A., Ens, B. & Dwyer, T. Design and Evaluation of Interactive Small Multiples Data Visualisation in Immersive Spaces. in *2020 IEEE Conference on Virtual Reality and 3D User Interfaces (VR)* (Mar. 2020), 588–597.

143. Sicat, R. et al. DXR: A Toolkit for Building Immersive Data Visualizations. *IEEE Transactions on Visualization and Computer Graphics* **25**, 715–725. ISSN: 1077-2626, 1941-0506, 2160-9306 (Jan. 2019).
144. Cordeil, M. et al. IATK: An Immersive Analytics Toolkit. in *2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR)* (IEEE, Osaka, Japan, Mar. 2019), 200–209. ISBN: 978-1-72811-377-7.

145. Satyanarayan, A., Moritz, D., Wongsuphasawat, K. & Heer, J. Vega-Lite: A Grammar of Interactive Graphics. *IEEE Transactions on Visualization and Computer Graphics* **23**, 341–350. ISSN: 1077-2626 (Jan. 2017).

146. Satyanarayan, A., Russell, R., Hoffswell, J. & Heer, J. Reactive vega: A streaming dataflow architecture for declarative interactive visualization. *IEEE Transactions on Visualization and Computer Graphics* **22**, 659–668 (2015).

147. Ens, B. et al. Grand Challenges in Immersive Analytics. in *Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems* (Association for Computing Machinery, New York, NY, USA, May 6, 2021), 1–17. ISBN: 978-1-4503-8096-6.

148. Margery, D., Arnaldi, B. & Plouzeau, N. in *Virtual Environments '99* (eds Gervautz, M., Schmalstieg, D. & Hildebrand, A.) red. by Hansmann, W., Hewitt, W. T. & Purgathofer, W., 169–178 (Springer Vienna, Vienna, 1999).

149. Cordeil, M. et al. Immersive Collaborative Analysis of Network Connectivity: CAVE-style or Head-Mounted Display? *IEEE Transactions on Visualization and Computer Graphics* **23**, 441–450. ISSN: 1077-2626 (Jan. 2017).

150. Fleury, C., Duval, T., Gouranton, V. & Arnaldi, B. A New Adaptive Data Distribution Model for Consistency Maintenance in Collaborative Virtual Environments. in (Sept. 27, 2010).

151. Donalek, C. et al. Immersive and collaborative data visualization using virtual reality platforms. in *2014 IEEE International Conference on Big Data (Big Data)* (IEEE, Washington, DC, USA, Oct. 2014), 609–614. ISBN: 978-1-4799-5666-1.

152. Kurillo, G. / i.-j. & Forte, M. Telearch–Integrated visual simulation environment for collaborative virtual archaeology. *Mediterranean Archaeology and Archaeometry* **12**, 11–20 (2012).

153. Li, N., Nittala, A. S., Sharlin, E. & Costa Sousa, M. in *CHI’14 Extended Abstracts on Human Factors in Computing Systems* 1291–1296 (2014).

154. Isenberg, T. An interaction continuum for visualization. in *VIS Workshop on “Death of the Desktop: Envisioning Visualization without Desktop Computing”* (2014).
155. Reda, K. et al. Visualizing Large, Heterogeneous Data in Hybrid-Reality Environments. *IEEE Computer Graphics and Applications* **33**, 38–48. ISSN: 1558-1756 (July 2013).

156. Leigh, J. & Brown, M. D. Cyber-commons: Merging real and virtual worlds. *Communications of the ACM* **51**, 82–85 (2008).

157. Febretti, A. et al. CAVE2: a hybrid reality environment for immersive simulation and information analysis. in *The Engineering Reality of Virtual Reality 2013 8649* (International Society for Optics and Photonics, Mar. 4, 2013), 864903.

158. Cavallo, M., Dholakia, M., Havlena, M., Ocheltree, K. & Podlaseck, M. Dataspace: A reconfigurable hybrid reality environment for collaborative information analysis. in *2019 IEEE conference on virtual reality and 3D user interfaces (VR)* (2019), 145–153.

159. Chenechal, M. L., Duval, T., Gouranton, V., Royan, J. & Arnaldi, B. Vishnu: virtual immersive support for HelpiNg users an interaction paradigm for collaborative remote guiding in mixed reality. in *2016 IEEE Third VR International Workshop on Collaborative Virtual Environments (3DCVE)* (Mar. 2016), 9–12.

160. Reski, N., Alissandrakis, A., Tyrkkö, J. & Kerren, A. in *Proceedings of the 11th Nordic Conference on Human-Computer Interaction: Shaping Experiences, Shaping Society* 5, 1–12 (Association for Computing Machinery, New York, NY, USA, Oct. 25, 2020). ISBN: 978-1-4503-7579-5.

161. Reski, N., Alissandrakis, A. & Kerren, A. An Empirical Evaluation of Asymmetric Synchronous Collaboration Combining Immersive and Non-Immersive Interfaces Within the Context of Immersive Analytics. *Frontiers in Virtual Reality* 2 (2022).

162. Snowdon, D., Churchill, E. F. & Munro, A. J. in *Collaborative Virtual Environments: Digital Places and Spaces for Interaction* (eds Churchill, E. F., Snowdon, D. N. & Munro, A. J.) 3–17 (Springer, London, 2001). ISBN: 978-1-4471-0685-2.

163. Reski, N., Alissandrakis, A. & Kerren, A. in *Proceedings of the 11th Nordic Conference on Human-Computer Interaction: Shaping Experiences, Shaping Society* 33, 1–11 (Association for Computing Machinery, New York, NY, USA, Oct. 25, 2020). ISBN: 978-1-4503-7579-5.

164. Stegmaier, S., Strengert, M., Klein, T. & Ertl, T. A simple and flexible volume rendering framework for graphics-hardware-based raycasting. in *Fourth International Workshop on Volume Graphics, 2005*. (June 2005), 187–241.
165. Loomis, J. & Knapp, J. in *Virtual and adaptive environments: Applications, implications, and human performance issues* 21–46 (Lawrence Erlbaum Associates Publishers, Mahwah, NJ, US, 2003). ISBN: 978-0-8058-3107-8.

166. Leggio, B. *et al*. MorphoNet : an interactive online morphological browser to explore complex multi-scale data. *Nature Communications* **10**, 1–8. ISSN: 2041-1723 (June 27, 2019).

167. Sulston, J. E., Schierenberg, E., White, J. G. & Thomson, J. N. The embryonic cell lineage of the nematode Caenorhabditis elegans. *Developmental Biology* **100**, 64–119. ISSN: 0012-1606 (Nov. 1, 1983).

168. Weber, M., Alexa, M. & Muller, W. Visualizing time-series on spirals. in *IEEE Symposium on Information Visualization, 2001. INFOVIS 2001*. (IEEE, San Diego, Ca, USA, 2001), 7–13.

169. Ware, C. Using hand position for virtual object placement. *The Visual Computer* **6**, 245–253. ISSN: 1432-2315 (Sept. 1, 1990).

170. Brument, H., Olivier, A.-H., Marchal, M. & Argelaguet, F. Does the Control Law Matter? Characterization and Evaluation of Control Laws for Virtual Steering Navigation. in *ICAT-EGVE 2020 - International Conference on Artificial Reality and Telexistence & Eurographics Symposium on Virtual Environments* (Florida, United States, Dec. 2020), 1–10.

171. Dachselt, R. & Hübner, A. Three-dimensional menus: A survey and taxonomy. *Computers & Graphics* **31**, 53–65. ISSN: 0097-8493 (Jan. 1, 2007).

172. SUS: A 'Quick and Dirty' Usability Scale | 35 | Usability Evaluation I.

173. Kourtesis, P., Collina, S., Doumas, L. A. A. & MacPherson, S. E. Validation of the Virtual Reality Neuroscience Questionnaire: Maximum Duration of Immersive Virtual Reality Sessions Without the Presence of Pertinent Adverse Symptomatology. *Frontiers in Human Neuroscience* **13**, ISSN: 1662-5161 (2019).

174. Keshavarz, B. & Hecht, H. Validating an Efficient Method to Quantify Motion Sickness. *Human Factors* **53**, 415–426. ISSN: 0018-7208 (Aug. 1, 2011).

175. Wobbrock, J. O., Findlater, L., Gergle, D. & Higgins, J. J. The aligned rank transform for nonparametric factorial analyses using only anova procedures. in *Proceedings of the SIGCHI Conference on Human Factors in Computing Systems* (Association for Computing Machinery, New York, NY, USA, May 7, 2011), 143–146. ISBN: 978-1-4503-0228-9.
176. Drost, J. & Clevers, H. *Organoids in cancer research*. *Nature Reviews Cancer* **18**, 407–418.
ISSN: 1474-1768 (July 2018).
<figure><img src="image_56.png" /></figure>
**Titre :** Visualisation Immersive et Interactive de Données 3D Temporelles

**Mot clés :** Réalité Virtuelle, Visualisation, Données 3D Temporelles, Cube Espace-Temps, Frise Chronologique

**Résumé :** Les données 3D temporelles sont de plus en plus présentes grâce aux progrès des techniques d'acquisition et de génération, notamment dans le domaine de l'imagerie biologique. Cependant, les méthodes pour visualiser ces ensembles de données peuvent être insuffisantes. Dans cette thèse, nous présentons une série de contributions exploitant des techniques de Visualisation et de Réalité Virtuelle, permettant l'exploration de divers types de données 3D temporelles. Nous illustrons ces contributions à travers des exemples tirés d'embryologie et d'enregistrements intracellulaires. Premièrement, nous définissons la notion d'objets 4D pour qualifier des entités sémantiques logiques présentes dans les données 3D temporelles, permettant l'interaction et la visualisation naturelles des données. Deuxièmement, nous étendons la représentation en Cube Spatio-Temporel pour les données

3D temporelles, résultant en un volume 4D, l'Hypercube Spatio-Temporel. Une vue 3D peut en être extraite par un opérateur de projection défini par l'utilisateur, et explorée par des interactions 3D adaptées. Troisièmement, nous proposons un espace de création de frises chronologiques 3D. Ces frises exploitent l'espace 3D et permettent la visualisation de données 3D temporelles. Nous proposons des processus interactifs pour aider la manipulation et la navigation efficaces à travers cette visualisation. Finalement, nous proposons une technique de sélection pour des objets 4D ponctuels dans le temps, basée sur un processus Spatial-puis-Temporel. Nous décrivons des techniques de visualisation, de sélection de l'espace 3D et de désambiguïsation dans le temps pour sélectionner des objets 4D.

**Title:** Immersive and Interactive Visualization of 3D Temporal Data

**Keywords:** Virtual Reality, Visualization, 3D Temporal Data, Space-Time Cube, Timelines

**Abstract:** 3D temporal data are more and more present as acquisition and generation methods improve, notably in the field of biological imagery. However, visualization methods to analyze these datasets can be insufficient. In this thesis, we present a series of contributions leveraging techniques from the fields of Virtual Reality and Visualization to support the exploration and interaction with various types of 3D temporal datasets, and illustrate our proposed methods through examples from biology, notably embryos and intra-cellular imaging. First, we introduce the notion of 4D objects to qualify 3D temporal features in order to highlight semantically logic entities, supporting natural visualization and interaction. Second, we extend the traditional Space-Time Cube representation to 3D temporal data, resulting in a 4D volume named Space-Time

Hypercube. A 3D view can be extracted from this 4D volume through a user-driven projection operation, which can be explored with adapted 3D user interaction. Third, we propose a design space to create 3D timelines to support the visualization of 3D temporal data. It extends the existing design space for usual timeline visualizations, yet exploits the 3D space offered by virtual environments. We propose adapted 3D user interaction processes to help manipulating and navigating through this visualization efficiently. Finally, we propose a selection technique for 4D objects punctual in time, based on a Space-then-Time selection process. We discuss techniques to visualize the data, to support adapted methods to select a region in the 3D space, and finally disambiguate in time to select the right 4D object.