Raspberry Pi Pico Wyjście wideo

TL;DR

Raspberry Pi Pico to niesamowity mały mikrokontroler. Chociaż nie ma wbudowanego interfejsu wyjścia wideo, tak jak jego większe rodzeństwo Raspberry Pi Zero / 1 / 2 / 3 / 4 / 400 (HDMI / podwójne HDMI w ich przypadku), możliwe jest dodanie wyjścia wideo do Pico! (Jako VGA lub DVI przez złącze HDMI, czytaj dalej, aby uzyskać szczegółowe informacje)

W tym poście wyjaśnimy, dlaczego wyjście wideo jest bardzo specjalną funkcją dla mikrokontrolerów i jakie typy wyjść wideo można zbudować lub kupić dla swojego Pico. Pokażemy również przykładowy kod - już wstępnie skompilowany, więc można go pobrać bezpośrednio, a następnie porozmawiamy o tym, co należy zmodyfikować, aby go uruchomić.

Nasz siostrzany sklep, buyzero.desprzedaje różnorodne akcesoria Pico - w tym DVI Socki Płytka nośna VGA dla Pico.

Uwaga: Pico nie posiada systemu operacyjnego Linux, takiego jak Raspberry Pi Zero W na przykład. Więc najprawdopodobniej będziesz musiał nieco głębiej zagłębić się w naukę kodowania i przesyłania aplikacji do Pico. Jeśli to nie twoja sprawa, Pi Zero W może być lepszym wyborem do rozpoczęcia zabawy 🙂

Jeśli udało Ci się zrealizować własny projekt wideo z Raspberry Pi Pico, daj nam znać w komentarzach!

Dlaczego dodanie wyjścia wideo Raspberry Pi Pico jest wyzwaniem?

Raspberry Pi 400na przykład, jest oparty na BCM2711 SoC. Ten system-on-a-chip ma wyspecjalizowany sprzęt, który dba o wyjście wideo, doskonale przygotowując je w formacie określonym dla konkretnego interfejsu (interfejsów) wideo, dwóch portów HDMI w przypadku Pi 400. Posiada również ogromną pamięć (4 GB), w której można przechowywać dane wyjściowe wideo.

Aby lepiej to zrozumieć, musimy przyjrzeć się niektórym podstawom komputerowego wyjścia wideo:

Wyświetlanie i transmisja wideo

Widzimy obraz na ekranie "jednocześnie". Nasz mózg ma masowo równoległe okablowanie, w którym pobiera informacje ze wszystkich dostępnych komórek siatkówki jednocześnie (komórki stożkowe i pręcikowe).

(* mechanizm transmisji do mózgu integruje informacje z kilku komórek siatkówki, ale faktem jest, że wiele informacji jest przesyłanych równolegle. Zobacz komórki dwubiegunowe jeśli chcesz dowiedzieć się więcej)

Mózg ma jednak opóźnienia - nie jest w stanie rozstrzygnąć zmiany bodźców wzrokowych szybsze niż 13 ms. (czyli około 1 na 75 klatek na sekundę).

Dla nas oznacza to, że jeśli chcemy wyświetlić naprawdę płynną animację, musimy pokazać około 60 różnych statycznych obrazów na sekundę. Nasz mózg zinterpretuje te statyczne obrazy jako płynne i realistyczne odtwarzanie.

Zazwyczaj chcemy, aby te zdjęcia były kolorowe.

Mamy trzy różne fotoreceptory dla kolorów, więc ekran wyświetla tylko te trzy różne kolory o różnej jasności. Ponownie, nasz mózg zsyntetyzuje kolory pomiędzy nimi na podstawie otrzymanych informacji. (Na marginesie, fioletowy tak naprawdę nie istnieje jako własna długość fali - jest mieszanką czerwonego i niebieskiego).

Istnieją trzy kolory podstawowe:

• czerwony
• zielony
• niebieski

Razem znane są jako RGB. Po dodaniu wszystkich trzech otrzymujemy kolor biały. Dodanie czerwonego do zielonego daje żółty, dodanie zielonego do niebieskiego daje cyjan, dodanie niebieskiego do czerwonego daje magentę.

Więc to, co naprawdę chcemy uzyskać, to:

• trzy różne kolory,
• każdy z inną wartością jasności
• Idealnie około 60 różnych wartości na sekundę (60 Hz)
• określona rozdzielczość ekranu - np. 640 x 480

Obliczmy, ile danych przypada na sekundę:

• 3 kolory
• x 8-bitowa głębia kolorów
• x 60
• x 640 x 480

= 442 368 000 bitów na sekundę = ok. 422 MBit/s

(Weźmy pod uwagę, że na przykład interfejs USB v1.1 w Pico ma około 10 Mbit/s - około 40 razy mniejszą przepustowość!)

Aby wyprowadzić te informacje, idealnie byłoby również przechowywać je jako bitmapę w pamięci RAM - jedna część aplikacji zaktualizuje obraz w pamięci RAM, podczas gdy inna zajmie się dostarczeniem danych w formacie, z którym może pracować monitor. Musi to być pamięć RAM, ponieważ działamy z dużymi prędkościami i musimy być w stanie odczytać to niezawodnie z małymi opóźnieniami - czego nie zapewni pamięć Flash.

Obliczmy, ile pamięci RAM potrzebujemy:

• 640 x 480 (rozdzielczość)
• x 3 (kolory)
• x 8 bitów (głębia kolorów)

= 7372800 bitów = 900 kBajtów (uwaga: 1 bajt = 8 bitów)

Podczas gdy 900 kBajtów zmieści się wielokrotnie w pamięci RAM komputera Raspberry Pi 400, Pico ma tylko 264 KB pamięci RAM.

Jak widać, będziemy musieli zmniejszyć niektóre parametry (np. rozdzielczość, głębię kolorów, ...), jeśli chcemy zmieścić bitmapę w pamięci RAM, lub musimy wymyślić kilka sprytnych pomysłów, jak sprawić, by działała bez przechowywania wszystkiego!

RP2040 PIO firmy Pico umożliwia wyprowadzanie danych wideo

Wreszcie, podczas gdy Raspberry Pi 400 i inne modele Raspberry Pi mają dedykowane obwody sprzętowe do przetwarzania wszystkich tych informacji i przesyłania ich w niezawodny sposób, Pico nie ma specjalnych obwodów dedykowanych tylko do wyjścia wideo.

Ale ma jedną sztuczkę w rękawie! RP2040 obsługuje PIO (programowalne IO). PIO jest dedykowany do emulacji różnych interfejsów z precyzyjnym taktowaniem i jest bardzo potężny! Może być zaprogramowany do odczytu z pamięci RAM i wyjścia z dużą prędkością.

Będziemy używać PIO do wysyłania sygnału wideo do niektórych pinów GPIO i użyjemy dodatkowych obwodów (rezystorów), aby doprowadzić sygnał do pożądanego stanu, w zależności od interfejsu wyjścia wideo, do którego chcemy podłączyć Pico.

Historia formatów wyjściowych wideo

Zanim przejdziemy do tego, jak dodać wyjście wideo do Raspberry Pi Pico, przyjrzyjmy się trochę historii formatów wyjściowych wideo.

Jak już wspomniano, ludzkie oko nie jest w stanie wykryć zmian w obrazach szybciej niż około 13 ms. Dlatego też jednym z pierwszych podejść do budowy monitorów komputerowych było CRT (kineskop) monitor.

Kineskop ma trzy wyrzutnie promieni, które omiatają piksel po pikselu, linia po linii. (a następnie potrzebują trochę czasu, aby powrócić do punktu początkowego). Ekran ma kolorowe luminofory, które będą emitować światło przez pewien czas po przejściu przez nie promienia. Przy kolejnym przeciągnięciu promienia nad tym konkretnym pikselem intensywność promienia może się zmienić, co zobaczymy jako ciemniejszy piksel. Nasz mózg łączy sąsiednie kolorowe piksele luminoforu w jeden piksel i nie jest w stanie zauważyć zmian jasności między kolejnymi przeciągnięciami promienia.

W ten sposób powstaje iluzja ruchomego obrazu.

W efekcie nie muszą mieć wszystkich danych obecnych na początku obrazu - ale tylko bieżąca wartość jasności piksela. Intensywność promienia zostanie odpowiednio zmodyfikowana. Możemy użyć do tego sygnału analogowego - na przykład zwiększenie napięcia zwiększy jasność.

Potrzebujemy trzech różnych przewodów dla różnych kolorów (aby napędzać każdy pistolet promieniowy indywidualnie) i musimy mieć sposób, aby poinformować monitor, kiedy należy rozpocząć nową linię i kiedy należy rozpocząć nowy obraz (gdy wszystkie linie zostały wyświetlone).

VGA (matryca graficzna wideo)

VGA zostało zaprojektowane z myślą o monitorach CRT. Nadal jest dość powszechne jako wejście w monitorach, mimo że staje się coraz bardziej przestarzałe w miarę przechodzenia na całkowicie cyfrową transmisję (więcej na ten temat później).

Jest to również najłatwiejszy standard wyjścia wideo do uruchomienia na Pico.

Obok specyfikacji (z domyślnymi trybami rozdzielczości) określono złącze, złącze VGA:

Posiada 15 pinów:

1. RED (czerwone wideo)
2. GREEN (zielone wideo)
3. BLUE (niebieskie wideo)
4. ID2/RES (zarezerwowane)
5. GND (Uziemienie HSync)
6. RED_RTN (czerwony powrót, masa analogowa dla czerwonego)
7. GREEN_RTN (zielony powrót, masa analogowa dla koloru zielonego)
8. BLUE_RTN (niebieski powrót, masa analogowa dla niebieskiego)
9. KEY/PWR (+5 V DC zasila układ EDID EEPROM w niektórych monitorach)
10. GND (Uziemienie VSync, DDC)
11. ID0/RES (zarezerwowane)
12. ID1/SDA (dane I2C od DDC2)
13. HSync (synchronizacja pozioma)
14. VSync (synchronizacja pionowa)
15. ID3/SCL (zegar I2C od DDC2)

Uwaga: Kable VGA mogą obsługiwać różne rozdzielczości, głębie kolorów i częstotliwości odświeżania, podczas gdy słowo "VGA" w odniesieniu do rozdzielczości zwykle oznacza 640 x 480.

Jak widać, istnieją trzy przewody przenoszące dane obrazu, po jednym dla każdego koloru. Sygnał jest przesyłany ze szczytowym (maksymalnym) napięciem 0,7 V. Sygnały przesyłane dla kolorów mają charakter analogowy - wyższe napięcia zwiększają jasność, napięcie 0 oznacza, że piksel jest ciemny / wyłączony.

Sprawianie, by wyjście VGA działało na Pico

Oznacza to, że Pico z wyjściem cyfrowym 3,3 V ma wystarczająco wysokie napięcie, aby móc podłączyć te piny RGB do kabla VGA (który oczekuje napięcia 0 - 0,7 V). W rzeczywistości musimy zmniejszyć napięcie za pomocą rezystorów.

Możemy zbudować prosty DAC (przetwornik cyfrowo-analogowy), łącząc kilka rezystorów i pinów GPIO. W zależności od kombinacji pinów GPIO, które są aktywne w danym momencie, mamy różne poziomy napięcia (= poziomy jasności):

Jak widać na powyższym obrazku, pięć GPIO (0 -4) steruje jednym kanałem (w tym przypadku czerwonym), co daje nam pięciobitową głębię. Rezystory są ważone 1:2:4:8:16, na przykład najmniej znaczący bit (LSB) koloru czerwonego ma rezystor 8,06K.

Próbując zbudować ten obwód, powinieneś wybrać 1 rezystor tolerancji % aby uzyskać dobry obraz.

Więcej informacji można znaleźć w "Konstrukcja sprzętowa z RP2040", aby zrozumieć, w jaki sposób obliczono wartości rezystorów. Krótko mówiąc, jeśli wysterujemy wszystkie naraz, uzyskamy napięcie 0,74 V, które jest w porządku dla naszych celów.

Mówiąc dokładniej, ten projekt referencyjny sugeruje obsługę powszechnie używanego 16-bitowego formatu danych RGB (RGB-565), który wykorzystuje 5 bitów dla koloru czerwonego i niebieskiego oraz 6 dla zielonego. Możemy zmniejszyć rzeczywiste fizyczne wyjście do zielonego do 5 pinów GPIO, tak jak w przypadku innych kolorów, aby zaoszczędzić jeden pin.

Oprócz tego potrzebne są jeszcze 2 piny do poziomego i pionowego wygaszania (HSYNC i VSYNC)

Daje nam to w sumie 17 pinów GPIO do sterowania wyjściem VGA. Na szczęście Pico ma 26 dostępnych pinów GPIO, co pozwala nam na wysterowanie wyjścia VGA.

Jak wspomniano wcześniej, Pico jest również w stanie sterować tymi pinami z wymaganą częstotliwością i precyzyjnym taktowaniem, dzięki funkcji RP2040 PIO (programowalne wejścia/wyjścia).

Sprzętowe wyjście wideo Raspberry Pi Pico VGA

Raspberry Pi zaprojektowało i udostępniło płytkę nośną dla Pico, która prezentuje różne funkcje:

• Wyjście VGA
• przyciski
• Gniazdo microSD
• wyjścia audio (analogowe PWM, cyfrowe I2S)

Zakup karty Pico VGA / Audio / microSD

My (buyzero.de) są obecnie w trakcie budowy i montażu tej referencyjnej płytki projektowej. Skontaktuj się z nami, jeśli chcesz zostać powiadomiony, gdy płyta będzie mogła zostać zakupiona!

Strona Płytka Pico VGA jest już dostępna w sprzedaży, początkowy stan magazynowy jest ograniczony!

W międzyczasie Pimoroni stworzyło również wersję tej tablicy, którą nazywają Pimoroni Pico VGA Demo Base.

Uwaga dodatkowa: każdy z 15 pinów wyjściowych rgb nadal będzie musiał być wysterowany z prędkością około 17,58 Mbit/s, co nadal jest imponującą - ale znacznie łatwiejszą do opanowania liczbą!

Oprogramowanie wymagane do sterowania wyjściem VGA

Ponieważ pracujemy na Pico, nie ma "sterowników graficznych", które możemy po prostu zainstalować. Musimy sami napisać kod... lub nie 🙂

Na szczęście ludzie, którzy zaprojektowali dla nas płytkę sprzętową, dostarczyli już kod, którego możemy użyć, dzięki czemu możemy skupić się na naszym projekcie.

Przykładowy kod można znaleźć w repozytorium pico-playground:

• https://github.com/raspberrypi/pico-playground

W tym repozytorium znajduje się prosty odtwarzacz filmów o nazwie popcorn (która odtwarza filmy w niestandardowym formacie). A Big Buck Bunny o rozmiarze 1,6 GB można pobrać tutaj. Należy pamiętać, że są to nieprzetworzone obrazy dysków do zapisania na karcie SD - w tym przykładzie założono, że masz płytę demonstracyjną VGA, która ma gniazdo SD. Instrukcje dla konwertowanie filmów są również podane.

Kod używa pico_scanvideo (pico/scanvideo.h) z biblioteki pico_extras repozytorium. Zajrzyj również do tego repozytorium, aby zapoznać się z przykładowym kodem audio!

• pico_scanvideo - zawiera obszerną dokumentację!

API wyprowadza równoległe dane RGB i sygnał synchronizacji na pinach dla DPI VGA (przy użyciu rezystorowych przetworników cyfrowo-analogowych, jak opisano powyżej).

Zgrabna uwaga:

• Domyślny program PIO scanline akceptuje dane o zakodowanej długości przebiegu - oznacza to, że można zaoszczędzić pamięć RAM w celu wygenerowania płaskich obszarów kolorów (mam tu na myśli gry!).

Ogólnie rzecz biorąc, powinieneś używać biblioteka pico_scanvideo zamiast tworzyć kod wyjścia VGA od zera 🙂

dobre praktyki kodowania

Więcej wersji demonstracyjnych

Sprawdź katalog scanvideo repozytorium pico-playground:

• mandelbrotgenerator mandelbrota używający bufora ramki 320x240x16
• sprite_demo: odbijające się głowy Ebena (wideo na górze naszej strony!)
• test_pattern: Wyświetlanie pasków kolorów

Korzystanie z karty VGA

Podczas kompilacji należy przekazać dodatkowy parametr do CMake:

-DPICO_BOARD=vgaboard

• https://forums.pimoroni.com/t/pico-vga-demo-board-instructions-information/16296/8

TBD: Dodanie przewodników krok po kroku

DVI: Cyfrowy interfejs wizualny

Technologia idzie naprzód. Życie idzie naprzód. Kineskopy stają się coraz bardziej przestarzałe, wypierane przez bardziej nowoczesne płaskie ekrany z cyfrowymi interfejsami. Żadnych ruchomych wiązek, tylko piksele.

Przez pewien czas sygnały nadal były analogowe - ale nie jest to zbyt pożądane, ponieważ musimy wziąć coś cyfrowego, przekształcić to w coś analogowego, a następnie ponownie przekształcić w coś cyfrowego. Obraz będzie mniej precyzyjny, a my mamy dodatkowe obwody, z których moglibyśmy zrezygnować.

Pojawiło się DVI. Sprytnie oferował on również opcję przesyłania sygnałów analogowych, dzięki czemu można było zbudować proste adaptery / kable DVI do VGA. Oczywiście karta graficzna musiała wysyłać zarówno dane analogowe, jak i cyfrowe. Pomogło to jednak w zaakceptowaniu standardu i jego rozpowszechnieniu.

Interesują nas tutaj sygnały cyfrowe (DVI-D), ponieważ chcielibyśmy bit-bangować je z Raspberry Pi Pico.

W przypadku DVI-D dane obrazu są przesyłane w sposób szeregowy.

"Pojedyncze łącze" (najbardziej podstawowe) połączenie DVI składa się z cztery tzw. łącza TMDS (transition minimized differential signaling):

• czerwony
• zielony
• niebieski
• zegar pikselowy

Sygnalizacja różnicowa jest stosowana w celu zminimalizowania zakłóceń (ponieważ

Mamy w sumie 24 bity na piksel (8 bitów x 3 kolory) i kodujemy dane przy użyciu kodowania 8b10b (8 bitów jest mapowanych na 10-bitowe symbole na rzeczywistej linii fizycznej, aby osiągnąć między innymi równowagę DC).

DVI traktuje piksele podobnie do VGA: wszystko jest ponownie przesyłane za każdym razem, gdy obraz "zaczyna się" ponownie, a dane są precyzyjnie taktowane. Przypomina to linię telefoniczną, gdzie linia jest stale używana, gdy dwie osoby rozmawiają.

Uwaga: w przeciwieństwie do tego, DisplayPort traktuje dane jako pakiety - która ma wiele zalet.

W przeciwieństwie do przykładu VGA omówionego powyżej, ponieważ dane są przesyłane cyfrowo, zamiast analogowych wartości jasności, oznacza to znacznie większą ilość danych.

Luke Wren, inżynier z Raspberry Pi, uważał, że RP2040 (serce Pico) będzie również w stanie sterować wyjściem DVI, ponownie używając PIO.

Rezultatem jest Repozytorium PicoDVI i projekty oraz Skarpeta Pico DVI.

Luke Wren obliczył, że około Dane szeregowe 252 Mb/s musi być sterowany przez cyfrowe pady GPIO - szeregowe różnicowe, które są emulowane przez dwa pady single-ended.

Powyżej widać obwód używany do sterowania wyjściem DVI (przy użyciu złącza HDMI, więcej na ten temat poniżej) - jest ich po prostu kilka 270 Ohm rezystory.

Luke Wren posunął się nawet dalej i dodał podwójne wyjście DVI do swojego układu PicoDVI za pomocą wtyczki:

HDMI: kompatybilne w dół z DVI

HDMI to następna ewolucja złączy (i konkurencja dla DisplayPort). Jest w pełni kompatybilny w dół z cyfrowymi sygnałami DVI - dzięki temu można mieć proste, czysto pasywne konwertery DVI / HDMI.

Skarpeta Pico DVI

Pico DVI Sock to proste i tanie rozwiązanie umożliwiające dodanie cyfrowego wyjścia wideo do komputera Pi. Została zaprojektowana przez Luke'a Wrena (patrz opis powyżej). Jest to wyjście DVI ze złączem HDMI. Ponieważ HDMI jest kompatybilne w dół z DVI, można użyć kabla HDMI do podłączenia Pico do wyświetlaczy HDMI:

Programowanie gniazda Pico DVI Sock

TL;DR

Możesz pobrać nasze picodvi-test.zip i rozpocząć zabawę z przykładowymi kompilacjami .UF2. Zawiera również plik PDF, który zawiera przewodnik krok po kroku.

Przykłady kodu

Luke Wren zapewnia przykłady kodu w jego repozytorium. Aby jednak używać ich z Pico DVI Sock, należy ustawić prawidłową konfigurację. W tym mini-poradniku pokażemy, jak to zrobić.

Wymagania wstępne instalacji

sudo apt install cmake gcc-arm-none-eabi libnewlib-arm-none-eabi build-essential

Sklonuj repozytorium PicoDVI od Luke'a Wrena:

cd ~
mkdir pico
cd pico 
git clone https://github.com/raspberrypi/pico-sdk
cd pico-sdk
git submodule update --init
cd ~/pico
git clone https://github.com/Wren6991/PicoDVI.git

Aby użyć przykładów kodu z Pico DVI Sock, należy ustawić opcję Prawidłowa konfiguracja pinów do użycia. Dodaj następującą linię do common_dvi_pin_configs.h po prostu przed pierwszy #ifndef

#define DEFAULT_DVI_SERIAL_CONFIG pico_sock_cfg

Tworzenie przykładów

cd PicoDVI/software/
mkdir build
cd build
export PICO_SDK_PATH=~/pico/pico-sdk
make -j$(nproc)

Zainstaluj przykłady na Pico

Zbudowane przykłady będą znajdować się w folderze software/build/apps.

Naciśnij i przytrzymaj przycisk BOOTSEL na Pico, a następnie podłącz płytkę do komputera za pomocą złącza microUSB. Skopiuj i wklej odpowiedni plik .uf2, który chcesz wypróbować - np. sprite_bounce.uf2 - do Pico.

Pico automatycznie uruchomi się ponownie i powinieneś być w stanie zobaczyć wyjście na złączu HDMI (pamiętaj, że tak naprawdę jest to DVI :-)).

Pobierz

Możesz pobrać nasze picodvi-test.zip i rozpocząć zabawę z przykładowymi kompilacjami .UF2. Zawiera również plik PDF, który zawiera przewodnik krok po kroku. Jeśli sprite_bounce.uf2 przykład nie działa, wypróbuj inny monitor - prawdopodobnie nie wszystkie monitory są kompatybilne z tym wyjściem wideo.

Jeśli udało Ci się dotrzeć tak daleko, daj nam znać w komentarzach, jak Ci się to udało i jakie pomysły na projekty wpadły Ci do głowy!

Zakup skarpety Pico DVI Sock

Nasza siostrzana strona, buyzero.de, oferuje następujące produkty Skarpeta Pico DVI w dwóch wariantach:

• Tylko gniazdo DVI Pico (do samodzielnego lutowania) @ 6,58 € obecnie
• Pico DVI Sock na Pico, z wstępnie przylutowanymi nagłówkami 17,89 € obecnie

Uwaga: wyświetlacze DBI i DSI

• https://github.com/raspberrypi/pico-extras/tree/master/src/common/pico_scanvideo

Na marginesie, repozytorium Raspberry Pi Pico Extras zawiera symbole zastępcze dla DBI (16-bitowe wyświetlacze MIPI DBI - z danymi przekazywanymi równolegle) i DSI (szeregowe wyświetlacze MIPI), więc być może w przyszłości zobaczymy również wsparcie dla tych wyświetlaczy.