5 formas de criar Gaussian splats

Um bom splat decide-se antes de carregar em gravar. O treino usa as imagens que lhe dá e nada mais. Cada imagem tremida, cada pessoa que passa e cada canto que salta acaba na cena final.

Este tutorial leva-o de uma sala vazia até um splat publicado. Cobre cinco formas de criar um splat, as definições da câmara, os padrões de movimento, o processamento no xr/converter e as soluções para os problemas mais comuns. Se os splats são novos para si, leia primeiro O que são Gaussian splats?.

Como se faz um splat

Todos os métodos de captura alimentam os mesmos dois passos.

Primeiro, a estimativa de pose compara pontos entre as suas imagens. Calcula onde cada imagem foi tirada e para onde a câmara apontava. Segundo, o treino otimiza milhões de pequenas Gaussianas 3D até o render corresponder às suas imagens. O xr/converter faz os dois passos por si, num servidor com GPU.

Daqui sai uma regra. O treino não consegue inventar uma vista que a sua câmara nunca viu. Falhas de cobertura tornam-se buracos, manchas e blobs a flutuar. Por isso a captura decide a maior parte da qualidade, e a maior parte deste tutorial é sobre captura.

As cinco formas

Um telemóvel chega para começar. Os passos 1 a 4 usam um telemóvel ou uma câmara, e a maioria das regras aplica-se a todas as formas. Leia-os mesmo que vá voar um drone.

Passo 1: Planeie antes de gravar

Dez minutos de planeamento poupam uma hora de conversão e uma segunda visita.

1. Percorra o espaço uma vez sem gravar. Procure espelhos, vidros, ecrãs e cantos escuros. Encontre os obstáculos do percurso.
2. Planeie um percurso contínuo. Escolha uma volta que acabe onde começa. Evite becos sem saída, porque tem de rodar no mesmo sítio para sair deles.
3. Retire o que se mexe. Peça às pessoas para saírem da zona. Desligue ventoinhas, feche portas e desligue ecrãs que mudam de imagem. O que se mexe torna-se floater.
4. Torne a luz uniforme. Ligue todas as luzes. Se o sol faz manchas fortes no chão, feche os estores. No exterior, o melhor é um céu nublado e claro.
5. Prepare o equipamento. Limpe a lente. Carregue as baterias e liberte espaço.

Passo 2: Configure a câmara

A câmara tem de gravar a mesma cena da mesma forma, da primeira à última imagem. Bloqueie tudo o que pode mudar sozinho.

Na maioria dos telemóveis, carregue sem largar no ecrã para bloquear a exposição e o foco. Para controlo manual do obturador e do balanço de brancos, use uma app de vídeo profissional. Numa câmara de ação como a GoPro, grave em modo linear ou grande angular e mantenha o mesmo modo no clip inteiro.

Passo 3: Mova-se da forma certa

A forma como se move importa tanto como aquilo para onde aponta.

• Desloque a câmara no espaço. Não fique parado a rodar. A estimativa de pose precisa de paralaxe, ou seja, a câmara tem de mudar de posição entre imagens. Um clip que só roda a partir de um ponto falha quase sempre.
• Caminhe devagar. Cerca de metade da sua velocidade normal está certo. Abrande mais em salas escuras.
• Segure a câmara com firmeza. Use as duas mãos e encoste os cotovelos ao corpo. Um gimbal ajuda.
• Rode com suavidade. Viragens bruscas dão imagens tremidas e quebram a sobreposição entre imagens vizinhas.
• Não encha a imagem com o objeto. Deixe algum contexto à volta. O contexto ajuda a estimativa de pose e dá-lhe um fundo limpo.
• Sobreponha muito. Cada parte da cena tem de aparecer em muitas imagens, a partir de posições diferentes.

Passo 4: Siga um padrão de captura

Um padrão garante que vê cada superfície a partir de mais do que uma altura e um ângulo.

Padrão para uma sala

1. Volta 1 à altura do peito. Caminhe junto às paredes e aponte a câmara para o centro da sala. Mantenha a câmara nivelada. Complete a volta.
2. Volta 2 por cima. Segure a câmara acima da cabeça e incline-a cerca de 30 graus para baixo. Faça a mesma volta outra vez.
3. Volta 3 por baixo. Segure a câmara à altura dos joelhos e incline-a cerca de 20 graus para cima. Faça a volta uma terceira vez.
4. Zonas de interesse. Aproxime-se dos detalhes que o público vai inspecionar: um balcão, uma obra de arte, uma prateleira de produtos. Contorne cada um num arco curto. Não pare para fazer zoom.
5. Chão e teto. Para uma sala completa, acrescente uma passagem lenta a apontar para o chão e outra a apontar para o teto.

Padrão para um objeto

1. Ponha o objeto numa superfície com alguma textura. Uma mesa branca lisa não dá nada à estimativa de pose para comparar.
2. Dê uma volta completa à altura dos olhos.
3. Dê uma segunda volta com a câmara no alto, inclinada cerca de 45 graus para baixo.
4. Dê uma terceira volta com a câmara em baixo, ligeiramente inclinada para cima.
5. Termine com uma passagem lenta por cima.

Não use um prato giratório. Num prato giratório o objeto roda mas o fundo fica parado, e a estimativa de pose não consegue resolver as duas coisas.

Quanto tempo gravar

• Um objeto: 30 a 60 segundos.
• Uma sala: 1 a 2 minutos para as três voltas, mais as passagens de detalhe.
• Um espaço grande: Divida-o em zonas e grave um clip por zona. Cada clip dá o seu próprio splat. No xr/studio, liga as zonas como cenas.

Capturar com uma câmara 360

Um vídeo 360 vê todas as direções ao mesmo tempo. Uma caminhada lenta por uma sala cobre o que precisa de três voltas com um telemóvel. Esta rapidez tem um custo.

Uma imagem 360 em 8K distribui 7680 píxeis por 360 graus. Dá cerca de 21 píxeis por grau. Uma imagem de telemóvel com 4000 píxeis e um campo de visão de 70 graus dá cerca de 57. Por isso a câmara 360 ganha em rapidez e cobertura, e uma câmara normal ganha em detalhe.

Siga estas regras quando gravar:

• Monte a câmara num bastão acima da cabeça. Aparece em todas as imagens 360. A altura mantém-no pequeno e na parte de baixo da imagem.
• Caminhe pelo meio do espaço. Mantenha uma distância constante às paredes sempre que possível.
• Acabe onde começou. Uma volta fechada ajuda a estimativa de pose a ligar o início ao fim.
• Afaste a linha de costura dos detalhes importantes. Rode a câmara para que os lados, onde as duas lentes se juntam, não apontem para o objeto principal.

O xr/converter recebe vídeo plano. Na app de computador da sua câmara, reenquadre o clip 360 num vídeo plano com um campo de visão largo, de cerca de 90 a 110 graus. Ligue o nivelamento do horizonte. Aponte a vista para o objeto, ou deixe-a seguir a direção em que caminha. Depois carregue o clip reenquadrado como um vídeo normal.

Um reenquadramento usa só uma parte de cada imagem 360. Para usar a imagem toda, treine no seu computador com o Spirula Studio, que lê vídeo 360 e equiretangular diretamente. Veja o passo 5.

Capturar com um drone

Para edifícios e terrenos, um drone é a única forma prática de ver telhados e fachadas altas. Qualquer drone com gimbal e exposição manual serve.

Definições da câmara do drone

• Grave vídeo 4K com o obturador a 1/500 s ou mais rápido.
• Defina a exposição manual antes de descolar e não a mude em voo.
• Use a câmara grande angular principal, cerca de 24 mm equivalentes.
• Voe devagar, a cerca de 3 a 5 m/s.

Padrão para um edifício

1. Órbita baixa. Faça um círculo completo perto do edifício. O edifício ocupa cerca de 50 a 75% da imagem. Incline a câmara 10 a 20 graus para baixo.
2. Órbita média. Voe mais afastado e mais alto. O edifício ocupa cerca de 30 a 60% da imagem. Incline a câmara 20 a 30 graus para baixo.
3. Órbita alta. Voe ainda mais afastado e mais alto, num raio de cerca de 3 a 5 vezes o tamanho do edifício. O edifício ocupa cerca de 10 a 40% da imagem. Incline a câmara 30 a 45 graus para baixo.
4. Subidas verticais. Em quatro pontos à volta do edifício, suba a direito com a câmara fixa no edifício. Comece cada subida pelo menos à altura da órbita baixa.

O edifício nunca pode encher a imagem toda. Entre duas órbitas, o tamanho dele na imagem não deve cair mais do que cerca de metade. Se cair mais, as órbitas não se ligam.

Padrão para uma área grande

Voe uma grelha ao longo da área, depois rode 90 graus e voe-a na transversal. Incline a câmara cerca de 45 graus para a frente e para baixo, para apanhar telhados e fachadas na mesma passagem. Se a área precisa de mais do que uma bateria, divida-a em zonas que se sobrepõem um pouco e converta cada zona.

Tempo e regras

Um céu nublado e claro é o ideal. Sombras fortes que mudam entre órbitas criam fantasmas. O vento mexe as árvores, e os ramos a mexer tornam-se floaters. Confirme sempre as regras locais para drones antes de voar.

Capturar com um scanner LiDAR

Os scanners portáteis combinam LiDAR com câmaras. Seguem a própria posição enquanto caminha, por isso não dependem só de pontos nas imagens. Isto torna-os fortes em espaços grandes ou lisos, como armazéns e corredores brancos, onde o alinhamento do vídeo falha muitas vezes.

As regras de captura são as mesmas: limpe a cena, mantenha a luz uniforme, caminhe devagar e acabe onde começou. O software do scanner cria o splat. Exporte-o em PLY e importe-o no xr/studio. O equipamento custa muito mais do que um telemóvel, por isso esta forma compensa quando captura espaços grandes com frequência ou precisa de precisão medida.

Criar um splat a partir de uma só foto

Às vezes não há tempo para capturar, ou o sítio já não existe. O Image → Splat no xr/converter prevê uma cena em splat a partir de uma foto JPG, PNG ou HEIC.

O resultado fica bem perto do ponto de vista original. Se se afastar dele, encontra buracos e superfícies inventadas, porque o modelo adivinha tudo o que a foto não mostra. Use-o para conceitos, fundos, pré-visualizações rápidas e fotos de arquivo. Não o use para documentar um sítio real com precisão.

Passo 5: Transforme a captura num splat

Com uma boa captura, o processamento é a parte fácil. Tem duas opções: o xr/converter na cloud, ou o Spirula Studio no seu computador.

No xr/converter

1. Abra o xr/converter e escolha Video → Splat.
2. Escolha o vídeo. Carregue um clip MP4, MOV ou WEBM.
3. Escolha as definições. Comece com um preset:
   • Draft é rápido. Use-o para confirmar que a captura funciona.
   • Standard é a escolha certa para a maioria das cenas.
   • High Quality usa mais imagens, uma resolução maior e reflexos mais detalhados. Demora mais.
4. Converta. O Cyango corre a conversão num servidor com GPU. Pode sair da página. O trabalho fica na sua lista de Jobs e pode abri-lo outra vez a partir daí.
5. Pré-visualize a cena 3D. Oriente o splat no browser. Se estiver bem, continue para o publicar como story.

Algumas definições merecem ser alteradas em capturas especiais. Estão todas na secção Frames + Camera:

• Max frames: Aumente para uma sala grande ou um clip longo. Mais imagens dão mais cobertura, mas a conversão demora mais e precisa de mais memória.
• COLMAP camera model: Escolha OPENCV_FISHEYE para GoPro e outras câmaras de ação com lente olho de peixe.
• Sharpness keep fraction: Baixe para imagens tremidas. O conversor fica só com as imagens mais nítidas.

Pode guardar as suas definições como preset e partilhá-lo como ficheiro com a equipa. O xr/converter está disponível nos planos Pro e Enterprise.

No seu computador com o Spirula Studio

Para conjuntos de fotos, para vídeo 360 completo, ou quando quer manter os ficheiros na sua máquina, recomendamos o Spirula Studio. É gratuito e open source, e uma só app faz o trabalho todo: extração de imagens do vídeo, alinhamento, máscaras e treino. Não precisa de instalar Python nem COLMAP. Corre em Windows, macOS e Linux, com GPUs NVIDIA, AMD, Intel e Apple. Também aceita vídeo olho de peixe e 360, e treina cenas grandes com pouca memória de vídeo.

Para fotos, tire imagens nítidas com cerca de 70% de sobreposição entre vizinhas. Quando o treino acabar, exporte o splat e importe-o no xr/studio.

Passo 6: Verifique o resultado e corrija problemas

Oriente a pré-visualização e olhe para as margens da cena, não só para o centro. Esta tabela mostra os problemas mais comuns.

Se o problema vem da captura, as definições não o resolvem por completo. Grave outra vez a parte em falta e converta de novo.

Passo 7: Publique o splat

Um ficheiro de splat é um asset. Um cliente, um visitante ou um comprador precisa de uma experiência à volta dele.

No xr/studio, importa ficheiros PLY, SPLAT, SPZ ou KSPLAT, ou continua a partir da pré-visualização do xr/converter. O Cyango prepara o splat para streaming na web com compressão SOG e níveis de detalhe RAD. Depois acrescenta hotspots, etiquetas, UI, áudio e mais cenas. Publica um único link que funciona em browsers, telemóveis, AR e headsets WebXR. Pode até instalar o resultado para uso offline.

Para AR em que se caminha ou para física, corra o Splat → Collision mesh no xr/converter. Cria uma mesh GLB fechada a partir do seu splat.

Planeie o percurso, bloqueie a câmara, mova-se devagar, cubra todas as alturas e deixe o xr/converter fazer o resto.

Faça o download agora: cyango.com/download